[단독] '독파모 탈락' 모티프 대표 '벤치맥싱 아니다' 항변…"에이전트 성능 위한 협업"

벤치마크 업체 애프터쿼리, 링크드인에 "모티프 3 개발 과정에서 유일한 데이터 파트너" 소개 AI 업계 "외부 협업했다면 적용 전후 성능 변화·활용 방식 공개해야" [아이뉴스24 서효빈 기자] 정부의 '독자 인공지능(AI) 파운데이션 모델' 사업에 참여한 모티프테크놀로지스의 '모티프 3' 개발 과정에 벤치마크 성능 개선을 주요 사업으로 하는 해외 업체가 참여한 사실이 확인됐다. 이에 대해 임정환 독파모 대표는 "에이전트 성능을 높이기 위한 협업"이라며 벤치마크 점수만을 겨냥한 것은 아니라고 해명했다. 하지만 AI 업계에서는 "의도와 상관 없이 외부 업체와 협업했다면 적용 전후 성능 변화와 활용 방식을 공개해야 한다"며 과정의 투명성을 지적했다.애프터쿼리가 링크드인을 통해 모티프 3의 '유일한 데이터 파트너(sole data partner)'로 참여했다고 밝히고 주요 벤치마크 성과를 소개했다 [사진=애프터쿼리 링크드인 갈무리]모티프 3 개발에 애프터쿼리 참여…'벤치맥싱' 논란27일 AI 업계에 따르면 미국 AI 데이터 기업 애프터쿼리는 최근 링크드인을 통해 모티프 3 개발 과정에서 자신들이 '유일한 데이터 파트너(sole data partner)'로 참여했다고 밝혔다.애프터쿼리는 AI 모델의 벤치마크 성능을 평가해 취약한 영역을 파악하고 이를 개선할 수 있는 데이터와 학습 방법을 제공하는 사업을 하고 있다. 업계에서는 특정 벤치마크에서 높은 점수를 얻도록 데이터와 사후학습 방식을 정교하게 설계하는 작업을 '벤치맥싱'이라고 부르기도 한다.애프터쿼리는 모티프와의 협업 사실을 공개하면서 모티프 3가 τ³-Banking, τ²-Bench Telecom, Terminal-Bench 2.1, SWE-bench Verified 등 주요 벤치마크에서 높은 성능을 기록했다고 강조했다. 이 중 τ³-Banking과 Terminal-Bench 2.1은 현재, τ²-Bench Telecom은 과거 AAII 구성 항목이다.AAII는 글로벌 AI 분석기관 아티피셜 애널리시스가 여러 벤치마크 성적을 종합해 산출하는 AI 모델 성능지표로, 모티프 3는 독파모 2차 평가에서 47점을 기록해 참여 모델 가운데 가장 높은 성적을 냈다.앞서 지난 7월 국제머신러닝학회(ICML)를 전후해서는 독파모 참여 업체들이 애프터쿼리로부터 벤치마크 성능 개선을 위한 협업 제안을 받은 것으로 알려졌다. 이후 업계에서는 특정 벤치마크의 특성을 분석해 이에 맞는 데...