[뉴스줌인] 독파모 2차전, 벤치마크 1위도 탈락…'사용성'이 승부 갈랐다

류제명 과학기술정보통신부 제2차관이 18일 서울 종로구 정부서울청사에서 독자 AI 파운데이션 모델 프로젝트 2차 단계평가 결과를 발표하고 있다. 벤치마크 평가, 전문가 평가, 사용자 평가를 병행하는 2차 단계평가를 종합한 결과 업스테이지, SK텔레콤, LG AI연구원 정예팀이 다음단계로 진출했다. 이동근기자 foto@etnews.com 독자 인공지능(AI) 파운데이션 모델(독파모) 프로젝트 2차 단계 평가에서 당락은 가른 지표는 모델 성능보다 사용성이었다. 류제명 과학기술정보통신부 제2차관은 18일 정부서울청사에서 열린 독파모 2차 단계평가 결과 브리핑에서 “모티프테크놀로지스의 '모티프 3'가 글로벌 벤치마크 점수에서 눈에 띄는 성과를 보여준 건 사실”이라면서 “다만 상당히 무게중심이 있었던 사용성·활용성 측면에서는 다른 모델들에 비해 낮은 평가를 받았다”고 설명했다. 이번 2차 단계평가는 △벤치마크 평가(배점 40점) △전문가 평가(배점 35점) △사용자 평가(배점 25점)로 이뤄졌다. 앞서 '모티프 3'는 2차 단계 평가 결과를 앞두고 발표된 글로벌 AI 성능 평가 기관 아티피셜 애널리시스 종합성능지수(AAII)에서 47점으로 4개팀 중 가장 높은 점수를 기록하며 눈길을 끌었다. AAII가 포함된 벤치마크 평가의 배점은 40점이다. 이 가운데 AAII는 25점, 한국지능정보사회진흥원(NIA) 벤치마크 평가가 15점을 차지했다. 다만 실제 4개 팀의 벤치마크 평가 평균은 22.5점으로, 1위와 4위 간 격차는 4점이었다. 40점 만점에서 30점을 넘은 팀은 없었다. 벤치마크를 제외한 나머지 영역의 배점은 60점이다. 특히 전문가 평가와 사용자 평가를 통해 모델의 실제 활용 가능성, 산업 생태계 기여, 서비스 적용성 등을 종합 평가했다. 전문가 평가(배점 35점)는 외부 전문가 10명으로 구성된 전문가위원회를 통해 △개발 전략 및 기술(10점) △개발 성과 및 계획(10점) △파급효과 및 기여계획(15점)을 평가했다. 그 결과 4개팀 평균은 28.8점이며, 1위와 4위 간 점수 격차는 2.4점에 그쳐 세 영역 중 가장 경쟁이 치열했다. 사용자 평가(배점 25점)는 49명의 AI 전문 사용자 평가(15점)와 일반 국민 평가(10점)를 기반으로 AI 사용성 등에 대한 평가를 진행했다. 4개 정예팀 평균은 17.6점이며, 1위와 4위 간 점수 격차는 5점으로 평가 항목 중 가장 컸다. 과기정통부는 “사용자 평가는 단...