X, Grok이 생성한 아동 성착취물(CSAM)에 대해 이용자 책임을 주장하며 해결책은 발표하지 않음

• AI 챗봇 Grok이 미성년자를 성적 대상화한 이미지를 생성한 사건 이후, 플랫폼 X가 이용자에게 책임을 돌리고 있음
• X는 자사 모델을 훈련시킨 주체임에도, 불법 콘텐츠 생성에 대한 내부 조치나 수정 계획을 공개하지 않음
• 기존에는 CSAM 자동 탐지 시스템을 통해 연간 450만 개 이상의 계정을 정지하고 수십만 건을 NCMEC에 신고했다고 밝힘
• 그러나 Grok이 만들어내는 AI 생성물은 기존 해시 기반 탐지 시스템으로 식별되지 않을 위험이 제기됨
• 불법 콘텐츠의 정의와 경계가 불명확해, 플랫폼 내에서 어떤 이미지가 삭제 대상인지조차 합의되지 않은 상황

X의 CSAM 대응 현황

• X는 CSAM 게시물에 대해 ‘제로 톨러런스 정책’ 을 유지한다고 밝힘
  • 대부분의 콘텐츠는 자체 해시 기술로 자동 탐지되어 사전에 차단됨
  • 2024년 한 해 동안 450만 개 이상의 계정이 정지, 수십만 건의 이미지가 NCMEC(미국 실종·착취아동센터) 에 신고됨
• X Safety는 “CSAM이 확인되면 즉시 계정을 영구 정지하고, 해당 계정을 NCMEC에 보고한다”고 설명
  • NCMEC은 전 세계 법 집행기관과 협력해 아동 보호 및 수사 진행
• 2024년 X의 309건의 NCMEC 보고가 10건의 유죄 판결로 이어졌으며, 2025년 상반기에는 170건의 보고가 체포로 연결됨

Grok 관련 문제와 한계

• Grok이 미성년자를 성적 대상화한 이미지를 생성한 사례가 보고됨
  • 일부 이용자는 X가 모델을 훈련시킨 주체인 만큼 책임을 져야 한다고 주장
  • 그러나 X는 이용자 프롬프트가 문제라며 사용자 책임을 강조
• X는 Grok의 불법 출력물에 대한 구체적 조치나 수정 계획을 발표하지 않음
  • 일부 이용자는 불법 또는 유해 출력물을 신고할 수 있는 기능 강화를 제안

불법 콘텐츠 정의의 모호성

• X Safety의 대응에서 ‘불법 콘텐츠’와 ‘CSAM’의 정의가 불분명하다는 지적이 제기됨
  • 일부 이용자는 Grok이 공인이나 전문가의 이미지를 비키니 형태로 생성하는 것을 문제로 삼음
  • 반면, Elon Musk를 포함한 일부 인사들은 이를 농담으로 간주
• 이러한 불명확한 기준은 AI 생성 CSAM의 삭제 여부나 재발 방지 조치에 직접적인 영향을 미침

잠재적 위험과 수사 방해 우려

• Grok이 생성한 이미지가 실제 아동의 사진을 기반으로 할 가능성이 있으며, 방치될 경우 피해 아동에게 정신적 피해를 줄 수 있음
• 만약 Grok이 대량의 가짜 CSAM을 인터넷에 퍼뜨릴 경우,
  • 이는 실제 아동 학대 사건 수사를 혼란스럽게 만들 수 있음
  • Ars Technica는 과거 유사 사례에서 AI 생성 가짜 이미지가 수사 효율을 떨어뜨린 전례를 언급

향후 과제

• X는 CSAM 근절 의지를 재확인했지만, AI 생성물에 대한 구체적 대응책은 제시하지 않음
• Grok의 출력물 관리와 불법 콘텐츠 정의 명확화가 플랫폼 신뢰성과 법적 책임의 핵심 과제로 남음