에이전틱 AI는 불안정하고 신뢰할 수 없으며 감시 위험이 크다고 Signal 경영진이 경고

• 운영체제 수준에 통합된 에이전틱 AI가 개인의 디지털 활동 전체를 기록하고 악성코드에 노출될 수 있다는 점이 주요 위험으로 지적됨
• Signal의 Meredith Whittaker와 Udbhav Tiwari는 39번째 Chaos Communication Congress에서 이러한 AI가 보안·신뢰성·감시 측면에서 모두 취약하다고 발표
• Microsoft의 Recall 기능은 사용자의 모든 화면을 주기적으로 캡처해 데이터베이스화하며, 이 정보가 악성코드나 프롬프트 인젝션 공격에 노출될 수 있음
• Whittaker는 AI 에이전트가 확률적 시스템으로서 단계가 많아질수록 정확도가 급격히 떨어지고, 복잡한 작업 수행 신뢰성이 낮음을 수치로 제시
• 두 사람은 무분별한 배포 중단, 기본 옵트아웃 설정, 투명성 강화를 요구하며, 그렇지 않으면 소비자 신뢰 상실로 AI 산업 전체가 위기에 처할 수 있다고 경고

에이전틱 AI의 보안 및 감시 위험

• 에이전틱 AI가 운영체제 수준에서 통합되면 개인의 디지털 생활 전체가 데이터베이스에 저장되어 악성코드 접근 가능성이 높아짐
  • 이러한 데이터베이스는 사용자의 행동, 텍스트, 앱 사용 시간, 초점 활동 등을 모두 포함
  • 동의 없이 자동으로 활성화되는 경우가 있어 프라이버시 침해 우려가 큼
• Signal 경영진은 이러한 구조가 보안 불안정성과 감시 위험을 동시에 초래한다고 지적

Microsoft Recall 사례

• Microsoft는 Windows 11에 Recall 기능을 통해 에이전틱 AI를 도입 중
  • Recall은 몇 초마다 화면을 캡처하고, OCR과 의미 분석을 수행해 사용자의 모든 활동을 데이터베이스로 축적
  • 데이터에는 행동 타임라인, 원문 텍스트, 앱별 집중 시간, 주제 분류 등이 포함
• Tiwari는 이 접근 방식이 악성코드 공격 및 숨은 프롬프트 인젝션 공격을 막지 못한다고 지적
  • 이러한 취약점은 종단간 암호화(E2EE) 를 우회할 수 있음
  • Signal은 자체 앱 화면 녹화를 차단하는 기능을 추가했지만, 근본적 해결책은 아니라고 평가

에이전틱 AI의 신뢰성 문제

• Whittaker는 에이전틱 AI가 확률적 시스템으로, 단계가 많아질수록 정확도가 급격히 저하된다고 설명
  • 각 단계가 95% 정확도일 경우 10단계 작업의 성공률은 약 59.9%, 30단계는 약 21.4%
  • 현실적인 90% 정확도 기준에서는 30단계 작업의 성공률이 4.2%로 급락
• 현재 최고 수준의 에이전트 모델조차 70% 실패율을 보인다고 언급
• 따라서 복잡한 자동화 작업을 맡기기에는 신뢰성이 매우 낮은 기술 단계임을 강조

프라이버시와 보안을 위한 개선 방안

• Whittaker는 현재로서는 프라이버시·보안·통제권을 완전히 보장할 방법이 없으며, 임시 대응(triage)만 가능하다고 언급
• 그러나 다음과 같은 조치로 위험을 완화할 수 있다고 제시
  • 무분별한 에이전틱 AI 배포 중단, 악성코드가 평문 데이터베이스에 접근하지 못하도록 제한
  • 기본 옵트아웃 설정, 개발자만 명시적으로 옵트인하도록 변경
  • AI 시스템의 작동 방식과 데이터 처리 과정의 투명성 확보, 세부 수준에서 감사 가능하도록 설계
• 이러한 조치가 이루어지지 않으면, 소비자 신뢰 상실로 에이전틱 AI 시대 자체가 위태로워질 수 있음

산업 전반에 대한 경고

• Signal 경영진은 에이전틱 AI가 과도한 투자와 과대평가 속에서 발전하고 있으나,
  보안·신뢰성·감시 문제를 해결하지 않으면 산업 전체가 위기에 직면할 것이라고 경고
• 기업들은 기술적 혁신보다 사용자 보호와 투명성 확보를 우선해야 함을 강조