Jev 덕분에 구조화된 출력이 다시 흥미로워졌다

Jev는 자연어 입력을 받아 구조화된 출력만 생성하는 모델로, 여러 질문에 대한 답을 한 번의 순전파에서 병렬 처리해 일관되게 낮은 지연 시간을 구현함 응답 시간은 가장 빠를 때 약 70ms, 가장 느릴 때도 500ms이며, 텍스트로 전달받은 게임 상태와 선택지만으로 Doom을 실시간 플레이할 수 있음 기존 LLM도 응답 접두사를 미리 채우고 선택지를 단일 토큰으로 생성하면 속도, 일관성, 병렬성의 상당 부분을 구현할 수 있어, Jev만의 기술적 차별성이 얼마나 큰지는 불확실함 추론 시점 연산을 활용하지 못해 지능의 상한이 제한될 수 있으며, 주어진 선택지에서 오답을 고를 수 있어 환각 면역이 실질적인 신뢰성 우위를 뜻하지는 않음 빠른 구조화된 출력은 챗봇이 아닌 AI 응용을 여는 새로운 연산 단위가 될 가능성이 있으며, 이 분야의 경쟁과 구조화된 출력에 특화된 모델이 기대됨 구조화된 출력만 만드는 Jev Jev는 “System One” 모델로, 일반 LLM의 구조화된 출력과 완전히 다른 방식은 아니지만 구조화된 출력만을 위한 인터페이스를 사용함 이름은 Daniel Kahneman의 『Thinking, Fast and Slow』에서 빠른 System One과 느리고 숙고하는 System Two로 인간 인지를 나눈 구분에서 유래함 해당 책의 일부 내용에는 재현성 문제가 있음 일반 LLM은 자연어 입력을 받아 토큰을 하나씩 생성하는 자기회귀 방식으로 자연어를 출력함 컴퓨터가 할 수 있는 작업을 폭넓게 처리할 수 있지만, 토큰마다 새 생성 연산이 필요해 느림 학습 대상인 자연어의 범위가 넓어 출력에 중국 도박 광고가 등장하는 사례처럼 이상한 동작도 발생할 수 있음 Jev는 “하늘은 무슨 색인가?”라는 상태와 ["blue", "red", "yellow"] 같은 선택지를 입력받아 { answer: "blue" } 처럼 답함 기존 LLM도 구조화된 출력을 지원하지만, 출력 형식을 이것으로 한정하면 속도와 처리 방식에서 유용한 특성이 생김 빠른 추론으로 사용 방식 자체를 바꾸려는 접근에는 Thinking Machines의 “interaction models”도 있음 낮고 일관된 지연 시간이 여는 활용 Jev의 응답 시간은 가장 빠를 때 약 70ms, 가장 느릴 때 500ms로, 일반 LLM의 수 초 단위 응답보다 빠름 일반 LLM은 구조화된 출력에서도 {, 공백, answer, : 등을 연속된 순전파로 생성함 Jev는 자기...