GPT-5.6 Luna vs. GPT-6 Astra: 1.20달러 모델로 코드 리뷰를 해도 충분할까?

공개 PR 50개에서 GPT-5.6 Luna는 검증된 버그 69개, Astra는 92개를 발견함. Luna는 Astra가 찾은 버그 수의 75%를 비용의 3.6%로 찾아, 일반적인 정확성 버그 검토에서 높은 비용 효율을 보임 정확도 차이는 뚜렷함. Luna의 지적 93건 중 24건이 검증을 통과하지 못한 반면, Astra는 96건 중 4건만 탈락해 Luna의 지적은 약 4건 중 1건꼴로 잘못된 내용임 가장 큰 약점은 인증과 권한 코드임. 검증된 보안 버그 24개 중 Luna는 9개, Astra는 19개를 찾아, 보안에 민감한 코드를 Luna 단독으로 검토하는 방식은 권장하기 어려움 두 모델은 서로 다른 버그도 발견함. Luna만 찾은 버그가 25개였으며, 두 모델을 함께 실행하면 총 5.86달러로 검증된 버그 143개 중 117개인 82%를 찾을 수 있었음 이 결과는 변경 사항만 제공한 공개 벤치마크에 한정됨. 반복 실행 간 결과 변동, 심사 편향과 학습 데이터 중복 가능성, 완전한 정답 목록 부재 때문에 실제 저장소에서 별도 검증이 필요함 평가 구성과 검증 방식 이전 Astra와 GPT-5.6 Sol 비교와 같은 평가 구성을 사용해, 모든 PR을 가장 저렴한 모델로 검토할 때 무엇을 포기하게 되는지 비교함 AI-Code-Review-Evals 의 공개 벤치마크 PR 50개를 사용함 Cal.com, Sentry, Discourse, Keycloak, Grafana에서 각각 10개씩 선정했으며, 각 PR은 결함이 없는 기준 브랜치에 의도적으로 결함을 추가함 두 모델에 동일한 변경 사항과 프롬프트를 제공하고, 정확성, 보안, 동시성, 자원, 오류 처리 버그를 구조화된 형식으로 반환하도록 함 스타일, 이름 짓기, 문서, 테스트 제안은 제외함 검증된 버그는 두 심사 모델이 모두 실제 버그로 인정한 항목으로 한정함 PR별로 Astra, Sol, Luna의 지적과 공개 Entelligence 리뷰 댓글을 익명화해 하나의 목록으로 합침 GPT-6 Astra와 GPT-5.6 Sol이 각각 변경 사항을 기준으로 중복 항목을 묶고 실제 버그 여부를 판단함 심사 일치율은 91%였으며, 서로 다른 버그 143개가 양쪽 심사를 통과함 Luna의 지적을 추가하면서 전체 후보 목록을 재심사함. 이 때문에 이전 비교보다 Astra의 검증된 버그 수는 91개에서 92개로, Sol은 107개에서 108개로 늘어남 프롬프트, 원시 모델 출력, ...