수츠케베르 "인간의 직관과 감정, AI에 이식할 것"

“지난 5년간 ‘스케일링의 법칙’이 방 안의 모든 공기를 빨아들였습니다. 너 나 할 것 없이 모두가 같은 행동만 하고 있다는 뜻입니다.”

오픈AI 공동창업자이자 챗GPT 개발 주역인 일리야 수츠케베르 세이프슈퍼인텔리전스 최고경영자(CEO·사진)가 최근 미국 실리콘밸리 인공지능(AI)업계 분위기를 이렇게 평가했다. 데이터와 컴퓨팅 자원을 투입하면 이에 비례해 AI 모델 성능이 개선된다는 스케일링 법칙에 따라 빅테크들이 천편일률적으로 막대한 자원을 투입하고 있다는 지적이다.

26일(현지시간) 테크업계에 따르면 최근 AI 개발사들은 트랜스포머(인공신경망) 모델을 대체할 새로운 AI 모델을 모색하고 있다. 트랜스포머 모델은 문장 속 단어와 같은 데이터 내 관계를 추적해 맥락, 의미를 학습하는 신경망이다. 오픈AI 챗GPT, 구글 제미나이 등이 트랜스포머 모델에 기반해 개발됐다.

디인포메이션은 최근 오픈AI가 차세대 AI 모델인 ‘오리온’ 개발에 어려움을 겪고 있다고 전했다. 오픈AI 연구자들은 “대규모언어모델(LLM)이 사용할 수 있는 고품질 텍스트 및 데이터가 줄어들고 있다”고 전했다. 다리오 아모데이 앤스로픽 CEO가 지난해 10월 “우리는 데이터 고갈 시점에서 그리 멀지 않은 곳에 있다”고 한 말이 현실이 된 것이다. 데이터가 고갈될 조짐을 보이자 빅테크들은 알고리즘으로 만들어낸 ‘합성 데이터’까지 동원하고 있다. 의료와 금융처럼 개인정보 문제로 실제 데이터를 구하기 힘든 분야에서 쓰는 고육지책이다.

수츠케베르는 스케일링 경쟁에서 벗어나 완전히 다른 기술적 접근을 시도하고 있다. AI에 인간의 직관 혹은 감정과 비슷한 ‘가치함수’를 가르치는 것이다. 기존 트랜스포머 모델이 체스 기보 수만 개를 통째로 암기해 다음 수를 확률적으로 예측하는 방식이라면 가치함수가 적용된 AI는 경기 도중 말 하나를 잃었을 때 “뭔가 잘못됐다”고 스스로 판단한다. 과정의 좋고 나쁨을 직관적으로 이해하는 ‘효율적 지능’을 구현하겠다는 것이다.

‘AI 3대 천왕’으로 불리는 얀 르쿤 메타 수석과학자는 올해 말 회사를 떠나 새로운 ‘월드 모델’ 스타트업을 만들겠다고 했다. 르쿤 수석과학자는 그간 “고양이가 LLM보다 똑똑하다”며 텍스트 기반 학습의 한계를 지적해왔다. ‘AI 대모’로 불리는 페이페이 리 스탠퍼드대 교수는 지난 12일 3차원(3D) 가상 공간을 구축하는 월드 모델 ‘마블’을 상용화하며 공간 지능 시장을 열었다. 르쿤 수석과학자와 리 교수가 강조하는 월드 모델이 본격화한다면 엔비디아의 그래픽처리장치(GPU) 시장은 더욱 커질 것으로 전망된다. 반면 수츠케베르가 추구하는 사전 학습보다 추론이 더 중요한 AI 모델이 주류가 된다면 AI 칩의 무게중심이 학습에서 추론으로 이동할 가능성이 높다는 게 업계 평가다.

실리콘밸리=김인엽 특파원 inside@hankyung.com