KT, AI 모델 자동 선택 기술 글로벌 2위…품질·비용 동시 최적화

자체 개발 '오토모델라우터', LLM 라우터 벤치마크 '라우터 아레나' 종합 2위 [아이뉴스24 서효빈 기자] KT는 자체 개발한 인공지능(AI) 모델 라우팅 기술 '오토모델라우터'가 거대언어모델(LLM) 라우터 전문 공개 벤치마크 '라우터 아레나'에서 종합 2위를 기록했다고 27일 밝혔다.KT 로고 [사진=KT]AI 모델 라우팅은 이용자 요청에 따라 여러 AI 모델 중 품질과 비용을 고려해 최적의 모델을 자동으로 선택·연결하는 기술이다.라우터 아레나는 미국 라이스대학교 연구진이 개발한 LLM 라우터 평가 플랫폼이다. 관련 연구는 머신러닝 분야 국제학회 ICLR 2026 정식 논문으로 채택됐다. 약 8400개의 질의를 활용해 AI 라우터의 응답 정확도와 비용 효율성, 입력 변화에 대한 견고성 등 실제 서비스 운영에 필요한 성능을 종합 평가한다.KT의 오토모델라우터는 라우터 아레나 공개 리더보드에 'KT-ModelRouter'라는 이름으로 등재됐다. 정확도와 비용을 함께 평가하는 'Acc-Cost Arena' 기준 2위에 올랐다. 현재 공개 리더보드에는 학계에서 개발한 라우터뿐 아니라 마이크로소프트의 '애저 모델 라우터(Azure Model Router)' 등 상용 기술도 등재돼 있다.기업이 선택할 수 있는 AI 모델은 번역·요약·코딩·추론 등에서 서로 다른 강점을 갖고 있다. 성능과 이용 비용에도 차이가 있다. 모든 업무를 하나의 모델로 처리하기보다 업무 특성과 요구 품질에 따라 적절한 모델을 선택하는 기술이 인공지능 전환(AX) 과정에서 중요해지고 있다.오토모델라우터는 이용자 요청의 △업무 유형 △난이도 △지식 분야를 분석한다. 모델별 응답 품질과 이용 비용을 고려한 라우팅 정책에 따라 해당 요청을 처리할 모델을 연결한다. KT는 가장 성능이 높은 모델이나 가장 저렴한 모델을 일률적으로 선택하는 대신 기업이 요구하는 목표 품질을 충족하면서 비용 효율도 높일 수 있도록 모델 선택 정책을 적용했다.상대적으로 간단한 번역이나 정보 확인에는 필요한 품질을 충족하는 비용 효율적인 모델을 활용한다. 전문적인 분석이나 높은 수준의 추론이 필요한 업무에는 고성능 모델을 연결한다. 이용자는 하나의 AI 서비스를 이용하지만 실제 시스템에서는 요청 특성에 따라 서로 다른 모델이 활용된다.기업은 여러 AI 모델을 일일이 비교·선택하는 부담을 줄이고 업무별 요구 수준과 예산에 맞춰 AI 운영 환경을 효율적으로 구성할 수 있다.오토모...