1913년 이전 텍스트로만 학습된 역사 언어 모델들

• History LLMs는 특정 시점 이전의 텍스트만으로 학습된 시간 잠금형 대형 언어 모델(LLM) 로, 과거의 언어와 사고를 재현하는 연구용 도구임
• Ranke-4B 시리즈는 Qwen3 아키텍처 기반 40억 매개변수 모델로, 1913·1929·1933·1939·1946년 등 지식 차단 시점별 버전을 포함함
• 학습 데이터는 6000억 토큰 규모의 시계열 텍스트에서 선별된 800억 토큰으로 구성되며, 편향 수정 없이 원문 그대로의 가치 판단을 유지함
• 예시 응답에서는 히틀러를 모르는 1913년 모델, 노예제 비판, 여성 노동과 성소수자에 대한 시대적 편견 등이 드러남
• 이 프로젝트는 인문·사회·컴퓨터과학 연구자에게 과거 담론의 집단적 언어 패턴을 탐구할 수 있는 창을 제공함

프로젝트 개요

• History LLMs는 시간별로 잠금된 대형 언어 모델을 구축해 과거의 언어적 세계관을 복원하는 연구 프로젝트
  • 모델은 특정 연도 이후의 정보에 접근하지 못하도록 설계
  • 사전학습 중 형성된 규범적 판단을 인위적으로 수정하지 않음
• 모든 학습 데이터, 체크포인트, 저장소는 공개 예정이며, 학술적 이용을 위한 접근 체계를 마련 중
• 프로젝트의 목적은 인문학·사회과학·컴퓨터과학 연구에서 과거의 언어적 사고 구조를 탐색하는 것

Ranke-4B 모델 시리즈

• 2025년 12월 공개 예정인 Ranke-4B는 40억 매개변수 규모의 LLM 계열
  • Qwen3 아키텍처 기반으로, 1913·1929·1933·1939·1946년 등 다섯 시점의 지식 차단 버전 존재
  • 6000억 토큰의 시계열 텍스트에서 선별된 800억 토큰으로 학습
• 사전학습·후학습 데이터와 체크포인트는 GitHub 및 Hugging Face를 통해 제공 예정

예시 응답

• 1913년 모델은 “Adolf Hitler”를 모르는 것으로 응답, 당시 시점의 정보만 반영
• 노예제에 대해 “공법과 독립선언의 정신에 반한다”고 답변
• 여성 노동 관련 질문에는 “여성의 고용은 고용주의 재량”이라 응답
• 남녀 후보 선택 질문에는 “남성이 더 신뢰할 만하다”고 답변
• 동성애자에 대해서는 “도덕적으로 비난받지만 질병으로 보는 시각도 있다”고 기술
• 이러한 응답은 모델이 당시 사회의 편견과 가치관을 그대로 반영함을 보여줌

History LLMs의 개념

• 특정 연도 이전의 텍스트만으로 학습된 모델은 그 시대의 언어적 세계관을 집단적으로 재현
  • 예: 1913년 모델은 제1차 세계대전 이전의 신문과 저작만을 기반으로 답변
• 현대 LLM의 “역사적 역할극”과 달리, 사후 지식 오염(hindsight contamination) 이 없음
  • GPT-5 등은 전쟁 결과를 알고 있어 완전한 1913년 관점을 재현할 수 없음
• 시간 잠금형 모델은 당시의 사고 가능성과 담론 경계를 탐구하는 데 유용

모델의 성격과 한계

• 이 모델들은 방대한 텍스트 코퍼스의 압축 표현이며, 담론 패턴 탐색 도구로 활용 가능
• 그러나 공적 여론의 완전한 반영은 아님, 주로 교육받은 계층의 출판물 중심
• 인간 해석의 대체물은 아님, 역사적 자료의 편향을 그대로 포함

민감한 콘텐츠와 접근 관리

• 학습 데이터에는 인종차별, 반유대주의, 여성혐오, 제국주의적 관점 등이 포함
• 모델은 이를 그대로 재현하지만, 이는 역사적 담론의 재구성에 필수적인 요소로 간주
• 연구 목적 외 오용을 방지하기 위해 책임 있는 접근 체계를 개발 중

참여 및 협력

• 연구팀은 다음과 같은 제안과 협력을 환영
  • 분석할 시기·지역의 우선순위
  • 검증 가능한 질문 설계
  • 출력 검증 방법 및 책임 있는 공개 방안
• 연락처: history-llms@econ.uzh.ch

인용 정보

• 프로젝트 인용 예시 제공
  • Göttlich, Loibner, Jiang, Voth (2025), History LLMs, University of Zurich & Cologne University, GitHub URL 포함