모든 것의 미래는 거짓말인가 – 5부: 짜증

• 기업들이 고객 지원 자동화를 위해 LLM 기반 챗봇을 도입하면서, 인간 상담 접근이 제한되고 거짓 응답과 오류가 일상화됨
• 이러한 시스템은 경제적 계층에 따라 차별적으로 작동하며, 일반 고객은 자동화된 응답에 갇히는 반면 고가 고객만 인간 지원을 받음
• LLM은 보험 심사·가격 책정 등 모호한 판단 영역으로 확산되어, 사람들은 기계와의 논쟁과 설득에 더 많은 시간을 소비하게 됨
• ML 시스템의 책임 불분명성과 사회적 편향은 부당 구금, 오인식 등 실제 피해를 초래하며, 복잡한 구조로 인해 책임 추궁이 어려움
• LLM이 결제와 구매를 자동화하는 Agentic commerce가 확산되면, 조작·사기·비용 전가가 심화되고 ‘짜증의 불평등’이 고착될 가능성 있음

고객 서비스 자동화의 불편함

• 기업들은 고객 지원 비용 절감을 위해 LLM 기반 챗봇으로 문의를 전환 중이며, 인간 상담원과의 연결은 점점 어려워지는 추세
  • 음성 모델의 발전으로 전화 상담도 자동화될 가능성 존재
  • LLM은 공손하고 인내심 있는 응답을 제공하지만, 거짓말과 오류를 반복해 문제 해결을 지연시킴
• 이러한 시스템은 경제적 계층에 따라 차별적으로 작동함
  • 고가 고객은 여전히 인간 상담원에게 접근 가능하지만, 일반 고객은 LLM과의 대화에 갇히게 됨
• LLM은 예측 불가능성과 주입 공격(injection attack) 에 취약해 시스템 외부에서 행동할 권한이 제한됨
  • 단순한 문제에는 유용하지만, 복잡한 행정 오류나 시스템적 문제에는 오히려 좌절을 유발함

모델과의 논쟁

• LLM은 고객 지원을 넘어 보험 심사, 가격 책정, 법적 판단 등 모호한 업무 영역으로 확산 중
  • 정확성보다 비용 효율성이 우선되어, 잘못된 판단이 발생해도 시스템 전체 수익이 유지되면 그대로 유지됨
• 이러한 환경은 새로운 형태의 노동 낭비를 초래함
  • 항공권 구매 시 브라우저·기기·계정별로 가격이 달라지는 알고리듬 가격 책정이 대표적 사례
  • 의사들은 보험사의 LLM을 설득하기 위한 특정 문구를 학습해야 하고, 소비자는 카메라 인식에 맞춰 외모를 조정해야 하는 상황 발생
• 개인들은 기계와의 논쟁에 더 많은 시간을 소비하게 됨
  • LLM은 이해하지 못한 채 응답을 생성하는 ‘중국어 방’ 과 같아, 인간적 이해가 결여됨
  • 미래에는 “보험료를 낮추는 8가지 채소” 같은 기계 대응 요령 콘텐츠가 범람할 가능성 존재
• 사람들은 LLM을 이용해 관료제에 맞서는 도구로도 활용 중
  • 보험 청구 거절 대응, 구독 취소, 가격 협상 등을 자동화하는 개인용 LLM이 등장
  • 그러나 기업과 개인 간 비대칭성은 여전하며, 개인은 LLM의 오작동으로 인한 금전적 위험을 감수해야 함

책임의 확산

• “컴퓨터는 책임질 수 없으므로, 관리 결정을 내려서는 안 된다”는 IBM의 1979년 내부 지침이 인용됨
• ML 시스템은 무고한 사람에게 피해를 주는 사례를 낳고 있음
  • 얼굴 인식 오류로 Angela Lipps가 4개월간 부당 구금된 사건
  • 감시 카메라가 Taki Allen의 과자 봉지를 총기로 오인해 무장 경찰이 출동한 사례
• 이러한 사건은 단순한 기술 실패가 아니라 사회기술적 시스템의 실패로 분석됨
  • 인간의 판단 부재, 절차적 오류, 조직 간 단절이 복합적으로 작용
• ML 모델은 사회적 편향을 통계적 객관성으로 포장함
  • 흑인 대출자 신용도 과소평가, 여성 의료 서비스 축소, 흑인 얼굴 오인식 등의 사례 존재
  • 모델의 불투명성과 자기모순적 설명은 검토자의 판단을 왜곡시킴
• 대규모 모델은 수많은 인력과 조직이 분리된 상태에서 제작되어 책임 소재가 모호함
  • 병원, 보험사, 모델 공급사, 데이터 제공자, 하청 인력 등 다층적 구조로 구성
  • 결과적으로 개인 단위의 책임 인식과 수정 가능성이 약화됨
• 자율주행차 사고, Copilot 기반 인사평가 해고 등 자동화된 결정의 피해자가 늘어날 전망
  • 기업은 벌금이나 계약 조정으로 대응하지만, 개별 수준의 책임 추궁은 어려움
• 이는 현대 공학 전반의 구조적 문제로, 복잡한 시스템일수록 사고 원인 규명이 어려움
  • 항공 사고처럼 대규모 조사가 필요한 수준의 복잡성이 일상적 결정에도 확산됨

시장 메커니즘과 ‘Agentic Commerce’

• Agentic commerce는 LLM이 사용자의 결제수단을 대신 관리하며 자동 구매를 수행하는 개념
  • LLM이 가격 비교, 보험 재계약, 구독 갱신 등을 자동화해 중간 유통 단계를 제거함
• McKinsey는 인간 중심 광고 감소를 예상하며, 챗봇 내 광고 삽입과 LLM 간 협상 구조를 제시
  • 그러나 이는 LLM 행동을 조작하려는 강력한 유인을 만들어냄
• LLM 대상 광고와 SEO 조작 경쟁이 새로운 형태의 알고리듬 전쟁으로 발전할 가능성 존재
  • 특정 픽셀·폰트·색상으로 LLM 반응을 유도하거나, 학습 데이터 오염을 통한 판매 유도 시도
  • OpenAI 등 플랫폼은 생산자와 소비자 간 중개자로서 양측에서 수익을 얻는 구조 형성
• LLM 간 자동 협상은 ‘다크 패턴’의 상호 공격전으로 변질될 위험
  • 허위 신호, 주입 공격, 과도한 거래 로그 등으로 혼란스러운 상호작용 발생 가능
• 일부 연구기관은 암호화폐 기반 결제로의 전환을 예측하지만, 이는 오류·사기·환불 문제를 심화시킬 가능성 존재
  • LLM이 잘못된 구매를 하면 책임 주체 불명확성이 발생
  • 결제사·은행·LLM 간의 복잡한 분쟁 구조가 형성될 전망
• 이러한 불확실성은 결제 수수료 인상과 사기 방지 비용 증가로 이어질 가능성
  • 결국 일반 소비자가 위험 비용을 분담하게 됨
• 소비자는 LLM을 속이거나 협상하기 위해 가짜 프로필·자동화 도구를 사용해야 할 수도 있음
  • 이는 피로감과 비효율을 초래하지만, 시장 전체가 LLM을 채택하면 회피 불가능한 구조로 고착될 가능성
  • 부유층만이 인간 중심 서비스를 유지하며 ‘짜증의 불평등’ 이 심화될 전망