[ICT 시사용어] 지식 증류(Knowledge Distillation)

지식 증류(Knowledge Distillation)는 성능이 높은 대형 인공지능(AI) 모델의 지식과 판단 방식을 더 작은 모델로 이전하는 기술이다. 처음부터 데이터를 모으고 막대한 연산 자원을 들이지 않아도 앞선 모델의 능력을 상당 부분 옮겨올 수 있다. 2015년 제프리 힌턴 등이 논문으로 체계화 했다.

지식 증류는 큰 모델을 '교사', 작은 모델을 '학생'으로 두고 교사의 출력값을 학생이 따라 배우게 하는 기법이다.

일반적인 AI 학습은 정답 데이터만을 이용한다면 지식증류는 교사 모델이 입력에 대해 내놓은 출력이나 확률 분포 등을 학습 데이터로 활용한다. 예를 들어 사진 속 동물이 '고양이'라는 것만 알려주는 게 아니라 '고양이 80%, 여우 15%, 개 5%'처럼 판단하는 과정까지 학생 모델이 학습하도록 한다.

기존에는 거대 모델을 가볍게 만들어 스마트폰 같은 기기에서도 돌아가게 하려는 경량화 기술로 쓰였다. 최근 LLM 분야에서는 대형 모델이 생성한 답변이나 합성데이터를 이용해 더 작은 모델을 미세조정하는 방식도 널리 쓰인다.

문제는 이 기법이 남의 모델을 베끼는 데 쓰일 수 있다는 점이다. 경쟁사가 수천억원을 투입해 만든 모델의 능력을 API 호출 비용 정도로 빼낼 수 있게 된다. 미국 AI 기업 앤트로픽은 지난 6월 중국 알리바바가 2만5000개의 부정 계정을 동원해 2880만 건 이상의 대화로 자사 모델 '클로드'의 능력을 불법 추출했다고 주장했다. 지난 2월에도 중국 AI 기업들이 비슷한 방식으로 클로드의 성능을 빼냈다는 지적이 제기된 바 있다. 미국 AI 기업들은 이를 '적대적 증류' 또는 '불법 증류(illicit distillation)'로 규정하고 있다.

AI 기업들은 이용약관에 경쟁 모델 개발 목적의 출력물 사용을 금지하고 있으나 실제 적발과 입증은 쉽지 않다. 이에 모델 안에 소유권 표식을 숨기는 워터마크 기술이 주목받는다.

지식증류는 AI의 문턱을 낮추는 기술이지만 동시에 거대 투자로 쌓은 기술력을 손쉽게 복제하는 통로가 될 수 있다. AI 모델이 국가 경쟁력의 핵심 자산으로 떠오른 만큼 정당한 기술 활용과 무단 탈취를 가를 기준 마련이 요구되고 있다.

최다현 기자 da2109@etnews.com