A16Z의 놀라운 주장

• A16Z의 추천 도서 목록에 포함된 일부 작품 설명에서 “대부분의 책이 문장 중간에서 멈춘다”는 사실과 다른 문구가 발견됨
• Neal Stephenson은 자신의 소설들이 논란의 여지는 있어도 실제로 문장 중간에서 끝난 적은 없다고 명확히 지적
• 그는 이 오류가 AI가 생성한 문구를 검수 없이 게시한 결과일 가능성을 가장 높게 봄
• 실제로 GitHub 저장소 기록을 통해 Cursor IDE가 생성한 초안과 이후 인간의 부주의한 수정 과정이 확인됨
• 이번 사례는 AI 생성 콘텐츠의 신뢰성과 검증 부재 문제를 드러내는 사례로 중요성 가짐

A16Z의 도서 목록과 잘못된 문구

• A16Z가 공개한 추천 독서 목록에서 Neal Stephenson의 여러 작품이 포함됨
  • 목록 설명 중 “대부분의 책이 문장 중간에서 멈춘다(문자 그대로 mid-sentence에서 끝난다)”는 문장이 포함되어 있었음
• Stephenson은 이 표현이 사실이 아니며, “literally”라는 단어가 포함된 점에서 단순한 비유가 아닌 명백한 오류라고 지적
• 그는 일부 독자가 결말을 불만스러워할 수는 있지만, 《Snow Crash》, 《The Diamond Age》, 《Seveneves》 등은 모두 명확한 결말을 가진다고 설명

오류의 성격과 문제점

• 이 문장은 단순한 문학적 비평(opinion) 이 아니라, 사실적 주장(factual assertion) 으로서 잘못된 정보임
• Stephenson은 이 오류가 작가와 편집자의 성실성을 훼손한다고 언급
• 그는 “이런 주장이 A16Z 웹사이트에 어떻게 실리게 되었는가”라는 점을 문제로 제기

가설 1: AI 생성 문구

• 가장 가능성 높은 설명으로 AI가 작성한 문구를 사람이 검수 없이 게시했을 가능성을 제시
  • 이름 철자 오류와 문체의 특이점이 이를 뒷받침
• 이러한 현상은 이미 법률, 학계, 언론 등 다양한 분야에서 빈번히 발생하고 있음
• Stephenson은 이 과정을 “Inhuman Centipede” 로 비유하며, 잘못된 정보가 다음 세대 LLM에 재학습될 위험을 지적

가설 2: 인간의 잘못된 데이터 사용

• 두 번째 가능성으로 잘못된 자료를 기반으로 한 인간의 실수를 제시
  • 하위 가설 A: 불법 복제본(bootleg PDF)을 사용해 중간에서 끊긴 버전을 참고했을 가능성
  • 하위 가설 B: 번역본의 품질 문제로 인해 실제로 문장이 중간에서 끝난 것으로 보였을 가능성

실제 원인 추적

• Stephenson은 사이트를 조사한 결과, GitHub 저장소의 커밋 기록에서 단서를 발견
  • 2023년 7월 21일 커밋에서 Cursor IDE가 생성한 원문이 확인됨
  • 원문에는 “세그폴트(segfault)” 비유가 있었으나, 이후 사람이 “문장 중간에서 멈춘다”로 잘못된 수정을 가함
  • 이후 또 다른 사람이 요약 과정에서 오타를 추가, 오류가 완성됨
• 그는 이를 AI 사용의 게으름과 인간의 부주의가 결합된 결과로 평가

인터넷 신뢰성과 AI 콘텐츠

• Stephenson은 인터넷 사용자들이 여전히 온라인 정보에 대한 맹신을 보인다고 지적
• 과거 스팸 메일에 자신의 소설 Cryptonomicon의 문장 조각이 무작위로 삽입된 사례를 언급
  • 이 조각들이 실제로 문장 중간에서 끊겨 있었으며, LLM이 이런 데이터를 학습했을 가능성을 언급
• 그는 이번 사건을 통해 AI가 사실과 허구를 구분하지 못한 채 콘텐츠를 생성하는 위험성을 강조

결론

• Stephenson은 A16Z의 추천에 감사 의사를 표하면서도, 잘못된 문구에 대해 명확한 사실 확인의 필요성을 제기
• 이번 사례는 AI 생성 콘텐츠의 검증 부재와 인간의 검수 책임 문제를 드러낸 사례로 평가됨