대규모 언어 모델은 적응적 탐색을 통해 새로운 사회적 편향을 형성함

Hacker News 의견들 실험에서는 가상의 도시에서 4개 집단인 Tufa, Aima, Reku, Weki 출신 지원자를 의사·변호사·보육 보조·청소부 등 20개 직종에 채용하도록 함. 40회에 걸쳐 채용 결과를 바로 알려주고 성공 횟수에 따라 실제 보너스를 지급하지만, 참가자에게 알리지 않은 채 모든 집단의 직종별 성공 확률을 동일하게 설정함. 인간 참가자는 초반에 성공한 조합을 반복하며 집단별 직업 계층화를 만들어냈고, 최신 LLM은 그 경향이 더 강하게 나타남. 이처럼 표본이 작으면 우연한 군집을 의미 있는 패턴으로 착각하기 쉬움. 핵심은 LLM이 초기 자료를 더 확신하고 탐색보다 기존 선택의 활용을 선호한다는 데 있어 보임. 400회처럼 표본을 늘려도 이런 부정확성이 유지되는지 보고 싶음. 선생님이 객관식 시험에서 답을 찍어야 한다면 시험 전에 a·b·c·d 중 하나를 무작위로 정해두라고 했던 게 떠오름. 오답 선택의 분산을 줄여 정답률을 기댓값인 25%에 가깝게 만들고 점수를 더 받을 가능성을 높인다는 논리였음. 이런 전략이 뇌에 내장되어 있는 건 아닐까? 최신 LLM은 코드를 작성한 뒤 다시 읽는 순간, 자신이 낙관적으로 만들어낸 결정조차 절대적인 사실처럼 취급하곤 함. 내게는 이것이 핵심적인 정렬 문제 중 하나로 보임. 에이전트 관리 프로젝트 Gastown도 결국 Gastown 자체를 작업하는 데만 쓰이다가 조용히 밀려남. 이를 탐색과 활용의 문제로 설명하면 다소 오해를 부를 수 있음. 순수하게 성과만 따지면 집단이 실제로 모두 동일할 때는 탐색에 전혀 노력하지 않는 것이 오히려 맞는 선택임. X가 Y보다 의사로 적합하다는 부정확한 초기 모형도 완전히 정확한 모형보다 나쁜 결과를 내지는 않기 때문임. 그래서 다소 비주류일 수 있지만, 좋은 문맥 관리가 하네스나 에이전트, 매달 새로 등장하는 온갖 임시방편보다 비용 대비 효과가 훨씬 크다고 봄. 부록의 프롬프트를 보면 인구 약 10만 명인 Toma City의 주민이 Tufa, Aima, Reku, Weki라는 네 조상 마을 출신이라고 설정함. 이어 새 일자리에 각 마을 출신이 한 명씩 지원했으니 누구를 추천할지 물음. 내가 시장이라면 출신 마을만 적은 Markdown 프롬프트를 GPT-4o에 넣어 채용하는 방식부터 피하겠음. Tufa와 Weki 사이에 왜 약간의 계층화가 생기는지 해결하기보다, 애초에 이 논문의 방식으로 채용하지 않겠음. 다른 프롬프...