[IT돋보기] 독파모 2차 나선 SKT 'A.X K2'…성능 향상 비결은 데이터 '옥석 가리기'

전작보다 적은 8.5조 토큰 학습에도 일부 벤치마크 30%p 이상 향상…교육적 가치·난이도 기준으로 고품질 데이터 선별 [아이뉴스24 서효빈 기자] SK텔레콤이 정부의 '독자 AI 파운데이션 모델' 프로젝트 2차 단계평가에 제출한 초거대 인공지능(AI) 모델 'A.X K2'가 전작보다 적은 데이터를 학습하고도 성능을 높인 것으로 나타났다. 확보한 데이터를 모두 투입하는 대신 품질과 난도를 기준으로 선별한 전략이 성능 개선으로 이어졌다는 설명이다.SK텔레콤 'A.X K2'의 단계별 사전학습 데이터 구성. 학습이 진행될수록 추론·에이전트·장문맥 데이터가 추가됐다. [사진=A.X K2 테크리포트]30일 SK텔레콤이 공개한 'A.X K2 테크니컬 리포트'에 따르면 A.X K2는 사전학습과 사후학습을 포함해 총 약 8.5조 토큰을 학습했다. 전작 A.X K1의 약 10조 토큰보다 약 15% 적은 규모다. 토큰은 AI가 문장을 학습하고 처리하기 위해 나눈 단위로, 단어나 글자 조각에 해당한다.그럼에도 일부 벤치마크에서는 전작보다 성능이 30%포인트 이상 향상됐다. SK텔레콤은 개선된 다단계 데이터 처리 과정을 통해 학습 데이터 한 단위당 성능을 나타내는 '토큰 효율성'을 높였다고 설명했다.A.X K2 개발 과정에서 확보한 후보 데이터는 약 16.2조 토큰에 달했다. SK텔레콤은 이를 모두 학습시키는 대신 문서별 교육적 가치와 난이도를 평가해 학습 효과가 높은 데이터를 우선 선별했다.학습 단계에 따라 데이터 구성도 달리했다. 초기에는 웹과 코드 등 폭넓은 자료를 활용해 일반 지식을 학습했다. 이후에는 과학·기술·공학·수학(STEM), 추론 과제, 정제된 PDF, 고품질 합성 데이터 등 난도가 높은 자료의 비중을 확대했다.장문맥 학습 단계에서는 에이전트와 추론, 장문 데이터 비중을 추가로 높였다. 학습 후반부로 갈수록 일반 웹 데이터 비중을 낮추고 복잡한 문제 해결과 장시간 작업 수행에 필요한 데이터를 집중적으로 투입한 것이다.데이터 선별 기준도 단계별로 강화했다. 초기에는 문서의 교육적 가치를 중심으로 평가했으며 이후에는 난이도까지 함께 반영했다. 수학과 물리, 법률, 경제, 의학 등 전문 분야별 데이터 특성을 고려해 선별 기준도 각각 다르게 적용했다.SK텔레콤 관계자는 "A.X K2는 학습 데이터의 양을 늘리는 대신 어떤 데이터를 학습시키느냐에 초점을 맞춘 모델"이라며 "확보한 16조개 이상의 토큰을 모두 활용하지 않고 ...