오픈AI 최신 AI 아스트라가 5위?…AAII 벤치마크 실효성 논란

젠슨 황 "AGI 도래"·브록먼 "세대적 도약" 호평⋯AAII선 전작과 같은 61점 독파모 2차 평가서도 벤치맥싱 논란...3차 평가 방식 재검토 요구 목소리도 [아이뉴스24 서효빈 기자] 오픈AI의 새 모델 'GPT-6 아스트라(Astra)'를 두고 인공일반지능(AGI)에 가까워졌다는 평가가 잇따르고 있다. 하지만 우리 정부의 '독자 AI 파운데이션 모델' 평가에 활용된 AAII(아티피셜 애널리시스)에서는 기대 이하의 성적을 기록하면서 벤치마크가 실제 성능을 충분히 반영하는지를 놓고 미국 현지에서 논란이 일고 있다.글로벌 AI 모델 분석기관 아티피셜 애널리시스의 AAII v4.1.1 평가 결과. 오픈AI의 'GPT-6 아스트라(max)'는 61점으로 전체 202개 모델 가운데 공동 5위를 기록했다. [사진=AAII 갈무리]7일 AI 업계에 따르면 글로벌 AI 모델 분석기관 AAII가 아스트라 공개 직후 AAII v4.1.1로 평가한 결과 최대 추론 모델은 61점을 기록했다. 전체 202개 모델 가운데 공동 5위다. 전작인 'GPT-5.6 Sol'과 같은 점수로 세대가 바뀐 신형 모델임에도 종합 점수에서는 뚜렷한 도약이 나타나지 않았다반면 모델 공개 이후 성능을 두고는 호평이 이어졌다. 코딩과 장기 업무 수행, 컴퓨터 사용, 외부 도구 활용 등 에이전트형 작업 능력이 전작보다 크게 개선됐다는 평가다. 단순 질의응답 성능을 넘어 여러 단계를 거쳐 복잡한 업무를 스스로 수행하는 능력이 강화됐다는 점이 주목받았다. 젠슨 황 엔비디아 최고경영자(CEO)는 아스트라 공개 이후 "AGI가 도래했다"고 평했다. 그렉 브록먼 오픈AI 사장도 아스트라를 "세대적 도약"이며 "AGI 시대에 온 것을 환영한다"고 평가했다. 인공일반지능(AGI)은 특정 과제에 한정되지 않고 인간처럼 다양한 분야의 문제를 이해하고 학습해 해결할 수 있는 범용 인공지능을 뜻한다.이같은 호평과는 달리 벤치마크 점수가 낮게 나오자 AAII를 둘러싼 논란이 제기됐다. 아스트라 공개 당일 레딧의 한 이용자는 "Sol과 같은 AA 점수를 받은 것을 보면 이 벤치마크를 얼마나 신뢰할 수 있는지 의문이 든다"고 꼬집었다. 해외 테크 전문 매체 더 디코더도 "기존 벤치마크가 GPT-6 아스트라의 실제 발전을 포착하지 못했다"고 지적했다.AAII는 정부의 '독자 AI 파운데이션 모델' 평가에 활용된 바 있다. 독파모 2차 평가에서 모티프테크놀로지스의 '모티프3'가 A...