LGU+, AI '토큰 최적화' 기술 개발…GPU 처리량 최대 4배 높여

옵트에이아이와 AI 운영 효율화 공동 연구…GPU·전력 사용량 절감 추진 [아이뉴스24 서효빈 기자] LG유플러스는 인공지능(AI) 모델 최적화 전문기업 옵트에이아이와 AI 운영 효율을 높이기 위한 '토큰 최적화' 기술 확보에 나선다고 2일 밝혔다.사진은 이상엽 LG유플러스 CTO(전무, 왼쪽)와 이재호 옵트에이아이 대표가 토큰 최적화 협력과 관련해 기념촬영을 하는 모습. [사진=LGU+]토큰은 AI가 이용자의 질문을 이해하고 답변을 생성할 때 처리하는 데이터의 기본 단위다. 토큰 최적화는 AI 모델을 경량화하거나 연산 과정을 효율화해 같은 자원으로 더 많은 요청을 처리할 수 있도록 하는 기술이다.양사는 AI 서비스 확산으로 그래픽처리장치(GPU)와 전력 등 운영 비용이 증가하면서 같은 자원으로 더 많은 요청을 처리하는 기술의 중요성이 커지고 있다고 설명했다.LG유플러스는 실제 AI 서비스 운영 경험을 바탕으로 기술 검증과 적용을 담당한다. 옵트에이아이는 AI 모델을 가볍고 빠르게 구동하기 위한 기술 연구·개발을 맡는다. GPU와 전력 사용량을 줄이면서 응답 속도와 서비스 품질을 높이는 것이 목표다.양사는 스마트폰 등 기기 자체에서 AI를 구동하는 온디바이스 AI 분야에서도 협력해왔다. LG유플러스는 '엑사원(EXAONE)' 기반 소형언어모델(sLM)에 경량화 기술을 적용해 스마트폰의 AI 전용 신경망처리장치(NPU)에서 구동할 수 있도록 했다.이를 통해 기존 중앙처리장치(CPU) 방식과 같은 수준의 성능을 유지하면서 전력 소모는 78%, 모델 크기는 82% 줄였다.양사는 지난 1일 AI 운영 효율화 기술의 연구 동향과 산업 적용 사례를 공유하는 'Efficient AI 테크 세미나'도 공동 개최했다.행사에는 퓨리오사AI와 베슬에이아이(VESSL AI), 한국전자기술연구원(KETI), 한양대학교 등 산·학·연 전문가들이 참여했다. AI 모델 최적화부터 AI 반도체와 실제 서비스 적용까지 AI 운영 효율을 높이기 위한 기술과 사례를 공유했다.양사는 이번 기술 교류를 계기로 공동 연구 범위를 서버 GPU 환경으로 확대한다. 대규모 AI 서비스에서 같은 GPU 자원으로 더 많은 이용자 요청을 처리할 수 있도록 AI 모델의 연산 과정을 효율화하는 기술을 중점적으로 연구한다.현재 진행 중인 GPU 기반 AI 모델 최적화 연구에서는 같은 GPU가 처리할 수 있는 토큰량을 기존보다 최대 4배 높였다. AI 모델의 답변 생성...