Navier-Stokes 이후에도 LLM 전망을 여전히 비관하는 이유

최첨단 AI 연구소의 기업가치는 지식 노동자의 완전 자동 대체 기대를 반영하지만, 현재 모델은 단순한 작업에도 상당한 감독과 안전장치가 필요함 모델은 학습한 특정 작업과 가까운 범위에서만 잘 일반화하며, 작은 변형에도 실패하거나 보상 해킹을 일으킬 수 있어 높은 벤치마크 성적이 자율성을 보장하지 않음 보상 해킹을 막기 위한 엄밀한 명세와 검증은 전문 인력과 큰 비용을 요구하며, 대안인 사람의 검토 역시 LLM의 출력량을 감당하기 어려움 Navier-Stokes 같은 순수수학 문제는 정리 자체가 엄밀한 명세이고 검증기도 갖춰진 최상의 조건으로, 대다수 지식 노동에 그대로 적용하기 어려움 완전 자율 LLM을 수용할 기업은 제한적이며, 이들조차 저렴한 공개 모델을 선호할 수 있음. 사람의 조율이 계속 병목이라면 연산 수요도 완전 자율 초지능 시나리오와 달라질 수 있음 높은 문제 해결 능력과 자율성 사이의 간극 최첨단 AI 연구소의 가치평가는 대부분의 지식 노동자를 완전히 자동으로 대체할 모델을 이미 만들었거나 곧 만들 것이라는 기대를 반영하지만, 현재 모델은 가장 단순한 작업에도 상당한 감독과 안전장치가 필요함 Navier-Stokes, FreeBSD 원격 코드 실행 취약점, Hugging Face 사건 같은 성과만으로 의미 있는 자율성을 확보했다고 판단하기 어려움 소프트웨어 기업들은 최신 벤치마크에서 감독 대상 모델보다 훨씬 낮은 점수를 받을 만한 하위 25% 수준의 엔지니어도 계속 고용하고 채용함 일반화 범위는 학습한 특정 작업 주변으로 좁게 제한되며, 그 범위 안에서도 큰 제약이 있음 연구소들은 성과 수준을 명확히 정의할 수 있는 거의 모든 특정 작업을 모델에 가르치는 일반적인 방법을 확보했고, 학습 데이터도 많은 작업을 포괄함 그러나 학습에 포함된 작업 유형이라도 작은 변형만으로 완전히 실패하거나 보상 해킹으로 이어질 수 있음 현재의 보상 해킹을 해결하려면 도메인 전문가가 엄밀한 명세를 작성해야 하지만, 도메인 지식과 명세 작성 능력을 함께 갖춘 사람은 극히 적음 전문가의 시간은 비싸고, 엄밀한 명세 작성은 해당 분야의 지식과 별도로 전문성을 요구함 숙련된 소프트웨어 엔지니어 중에도 명세 작성을 잘하지 못하는 사람이 많음 명세 작성 비용은 비형식적 요구사항을 직접 구현하는 비용보다 훨씬 클 수 있음 CPU 프로젝트는 경험적으로 설계 엔지니어보다 명세와 검증 엔지니어가 약 3배 많으며, 5:1 비율도 드물지만 ...