LLM이 작성한 인시던트 보고서의 미래가 두렵다

• 인시던트 보고서에서 LLM은 자료 수집과 정리를 돕는 데 유용하지만, 보고서 본문까지 맡기면 검증 과정이 약해짐
• 직접 쓰는 과정은 증거와 설명의 일관성을 확인하게 만들며, 글쓰기 자체가 이해 부족을 드러내는 장치로 작동함
• LLM 보고서는 그럴듯해 보여도 실제로 없는 시스템 결합을 만들어내거나, 인시던트에 중요했던 상호작용을 놓칠 수 있음
• 코드 생성이나 AI SRE 작업은 테스트와 복구 결과로 확인할 수 있지만, 인시던트 보고서에는 즉각적인 정답 판정 장치가 없음
• 보고서 작성이 번거로울수록 AI 생성 유혹은 커지고, 형식은 갖췄지만 시스템에 대한 실제 학습은 줄어들 수 있음

자료 정리와 보고서 작성은 다른 문제

• 좋은 인시던트 보고서를 쓰려면 로그, 타임라인, 관계자 설명 같은 재료를 모으는 수고로운 작업이 필요함
• LLM은 이런 자료 수집과 정리의 부담을 줄이는 데 도움을 줄 수 있음
• 그러나 재료를 준비하는 일과 LLM이 실제 보고서 본문을 작성하는 일은 성격이 다름
• 보고서 작성을 맡기면 빠르게 결과물이 나오기 때문에, 그 편리함 자체가 위험한 유혹이 됨

글쓰기 과정이 빠지면 그럴듯한 오답이 남음

• 글쓰기는 자신이 개념을 얼마나 이해했는지 드러내는 과정임
  • Dick Guindon의 말처럼 “Writing is Nature’s way of showing you how sloppy your thinking is”
  • Leslie Lamport의 말처럼 “If you’re thinking without writing, you only think you’re thinking”
• 사람이 직접 설명을 쓰면, 수집한 증거와 설명이 실제로 맞물리는지 피할 수 없이 확인하게 됨
• LLM이 인시던트 보고서를 생성하면 이 사고 과정이 우회됨
  • 세부 사항을 잘 모르는 독자에게는 결과물이 그럴듯하게 보일 수 있음
  • 실제로 없는 시스템 간 결합을 만들어낼 수 있음
  • 인시던트에 중요했던 상호작용을 놓칠 수 있음
  • 데이터를 종합해 직접 작성하는 어려운 작업이 빠지면 이런 오류를 알아차리기 어려움
• 코드 작업은 테스트로 원하는 동작을 확인할 수 있고, AI SRE 작업은 인시던트 해결에 도움이 되는지 결과로 드러남
• 반면 인시던트 보고서는 잘못된 코드나 운영 진단처럼 즉시 문제가 드러나지 않아, 겉보기에는 맞지만 실제로 틀린 문서가 남을 수 있음
• LLM이 만든 보고서는 사건에 관여한 사람들과 직접 대화하지 않으며, 올바른 형식을 흉내 낸 결과물에 그칠 수 있음
• 이런 보고서가 늘어나면 독자가 시스템의 성격을 이해하며 얻는 학습량이 크게 줄어들 수 있음