HarnessTax: 코딩 에이전트에서 하네스는 얼마나 중요할까?

7개 모델과 3개 하네스의 21개 조합을 평가한 결과, 두 벤치마크에서 하네스 선택은 작업 성공률보다 토큰 비용에 더 큰 영향을 미쳤으며, 같은 모델이 비슷한 성공률을 내는 데 비용은 최대 5배 차이 났음 Claude Code는 공통 모델 기준 SWE-bench Lite에서 Pi보다 평균적으로 약 2배 비쌌지만, 하네스가 성공률에 미치는 평균 효과는 ±2% 이내였음 읽기, 쓰기, 편집, bash의 네 가지 도구만 제공하는 오픈소스 하네스 Pi도 두 벤치마크 모두에서 비용 대비 성공률의 파레토 경계에 도달함 Anthropic과 OpenAI 모델 6개를 두 벤치마크에서 비교한 12건 중 9건에서 대체 하네스가 가장 높은 관측 성공률을 기록해, 모델과 하네스의 공급사가 같다고 최적 조합이 보장되지는 않았음 결과는 모델이 학습 중 접했을 수 있는 공개 벤치마크 2개에 한정되며, 실제 개발 환경에서는 모델과 작업에 맞춰 하네스의 비용과 성공률을 함께 평가해야 함 연구 질문과 평가 범위 하네스(harness) 는 모델의 도구, 문맥, 작업 실행을 관리하는 소프트웨어 시스템으로, 코딩 에이전트 선택은 모델뿐 아니라 하네스까지 선택하는 일임 수백만 명이 코딩 에이전트를 사용하는 상황에서, 동일 모델에 다른 하네스를 연결하면 더 많은 작업을 해결하거나 비용을 줄일 수 있는지 평가함 모델 7개와 Claude Code, Codex CLI, Pi를 조합한 21개 구성을 다음 두 벤치마크에서 비교함 SWE-bench Lite Terminal-Bench 2.0 각 벤치마크에서 무작위로 뽑은 동일한 30개 작업을 사용하고, 조합별로 작업당 3회 실행해 시도 간 변동을 측정함 연구팀은 프로파일링 실행 추적을 공개할 예정임 실행 조건과 측정 방법 각 하네스의 기본 구성에서 시작해 추론 노력 수준을 높음으로 설정하고, 장기 실행 비용을 통제하기 위해 시도당 에이전트 턴을 100회로 제한함 턴 수와 추론 노력 설정은 각 하네스 자체 정의를 따르므로 완전히 동일한 단위는 아님 작업 성공 여부는 벤치마크의 공식 평가기로 판정함 비용과 성공률은 작업별 3회 시도의 평균을 구한 뒤, 30개 작업 전체 평균을 계산함 작업별 평균 30개를 복원 추출하는 부트스트랩을 10,000회 수행해 95% 신뢰구간을 추정함 토큰 비용은 2026년 9월 1일 기준 직접 API 가격표로 계산하고, 같은 모델에는 하네스와 무관하게 동일한 가격을 적용함 SWE-bench L...