생성형 AI와 위키백과 편집: 2025년에 배운 것들

• 위키에듀케이션은 2025년 동안 생성형 AI(ChatGPT 등) 가 위키백과 편집에 미치는 영향을 체계적으로 조사함
• AI 탐지 도구 Pangram을 활용해 2022년 이후 작성된 3,078개 문서를 분석한 결과, 178개 문서가 AI 작성으로 의심되었으며 그중 3분의 2 이상이 검증 실패로 판명됨
• 이에 따라 프로그램 참가자 교육을 강화하고, AI 사용 지침과 실시간 탐지 시스템을 도입해 AI 생성 텍스트의 직접 복사·붙여넣기를 차단함
• AI는 문서 초안 작성에는 부적합하지만, 자료 탐색·출처 찾기·내용 공백 파악 등 연구 단계에서는 유용하게 활용 가능함
• 위키에듀케이션은 AI 탐지 자동화와 편집자 교육 확대가 위키백과의 신뢰성을 유지하는 핵심이라고 강조함

생성형 AI와 위키백과의 관계

• 위키에듀케이션은 영어 위키백과 신규 활성 편집자의 약 19%를 담당하며, 생성형 AI의 영향과 위험을 분석함
  • ChatGPT, Gemini, Claude 등 챗봇이 일상화되면서 위키백과 편집에도 활용 시도가 증가
  • 조직은 참가자들의 AI 사용 행태를 평가하고 그 결과를 공개함
• 결론적으로, AI 출력물을 그대로 복사해 위키백과에 붙여넣어서는 안 됨이라는 원칙을 제시

AI 탐지와 검증 결과

• 2022년 ChatGPT 출시 이후 작성된 문서 중 178개가 Pangram에 의해 AI 작성으로 탐지됨
  • 2022년 이전에는 AI 사용 흔적이 없었으며, 이후 점진적으로 증가
• 7%만이 가짜 출처를 사용, 나머지는 실제 출처를 인용했으나 2/3 이상이 검증 실패
  • 인용된 출처에 해당 정보가 존재하지 않아 사실 여부 확인 불가
• 위키에듀케이션은 검증 실패 문서 정리 작업에 상당한 인력 투입
  • 일부 문서는 ‘stub’ 처리, 일부는 삭제 제안(PROD), 일부는 복구 불가로 판단

프로그램 개선과 AI 탐지 시스템

• Pangram의 지원으로 참가자 편집을 실시간 분석하는 체계를 구축
  • 자체 Dashboard 플랫폼을 통해 편집 추적 및 자동 알림 기능 운영
• 새 교육 모듈 “Using generative AI tools with Wikipedia” 를 도입
  • AI 사용 가능 영역과 금지 영역을 명확히 구분
  • “AI 텍스트를 복사·붙여넣지 말 것”을 핵심 메시지로 강조
• 2025년 하반기 1,406건의 AI 편집 경고 중 22%만이 실제 문서 공간에서 발생
  • 대부분은 연습용 샌드박스 단계에서 탐지됨
• Pangram은 서식·목록 등 비문장형 텍스트에서 일부 오탐(false positive) 을 보였으나, 본문 문장 분석에서는 높은 정확도 유지

AI 사용 행태와 교육 효과

• 2025년 가을 학기 6,357명 중 5%만이 실제 문서에서 AI 탐지, 대부분 수동 또는 자동으로 되돌림
  • 참가자, 강사, 위키 전문가가 협력해 AI 생성 텍스트를 제거
• 강사들은 ‘검증 가능성(verifiability)’ 을 중심으로 학생 작업을 평가
  • AI가 생성한 문장은 사실 검증이 불가능해 위키백과에 부적합함을 확인
• Pangram 기반 조기 개입으로 AI 사용률을 예상치 25%에서 5%로 감소시킴

AI의 긍정적 활용 가능성

• AI는 문서 공백 식별, 출처 탐색, 자료 접근 경로 제시 등 연구 단계에서 유용
  • 7개 수업에서 102건의 사용 보고 중 87%가 유용하다고 응답
  • 가장 많이 사용된 도구는 ChatGPT, 그 다음은 Grammarly
• 학생들은 AI를 문장 교정, 카테고리 제안, 초안 평가 등에 활용
  • 단, AI로 본문을 작성한 사례는 없음
• AI 결과를 비판적으로 검토할 때만 도움이 되며, 인간의 판단이 필수적임을 강조

위키에듀케이션의 결론과 향후 계획

• 현재 수준의 생성형 AI는 검증 불가능한 텍스트를 생성하므로 위키백과 본문 작성에 부적합
  • AI가 생성한 문장을 검증하는 데 드는 시간이 직접 작성보다 많음
• 그러나 자료 탐색·아이디어 발굴 등에서는 보조 도구로 활용 가능
• Pangram 탐지 시스템을 2026년에도 유지·개선 예정
• 참가자들의 AI 리터러시 부족을 확인하고, 대형 언어모델(LLM) 교육 모듈을 추가 제공
• 프린스턴대 등과 협력해 AI 도입 전후 학생 편집 변화 연구 진행 중
  • Pangram이 2015~2022년 편집을 100% 인간 작성으로 정확히 식별함을 확인

위키백과 전체에 대한 시사점

• 전 세계 성인 중 10%가 ChatGPT를 사용, 그중 상당수가 텍스트 작성에 활용
  • 초보 편집자들이 AI 생성 내용을 검증 없이 추가할 위험 존재
• Pangram 같은 자동 탐지 도구가 위키백과 품질 유지에 필수
  • 현재는 수동 배너 표시만 가능하나, 자동화된 검출 시스템 필요
• 신규 편집자 대상 AI 사용 경고 및 출처 중심 편집 교육 강화 제안
  • 위키미디어재단의 편집 지원 소프트웨어도 인간 중심 요약 방식을 우선해야 함
• 위키백과가 기술 변화에 적응하며 신뢰성 유지를 위해, AI 시대에 맞는 정책과 도구 개발이 중요함