LLM에게 어디까지 맡길 것인가: AI 에이전트 기반 광고 분석 리포트 자동화

들어가며 안녕하세요. LINE Ads에서 데이터 분석 플랫폼을 개발하고 있는 이종우, 이운열입니다. 광고 매출은 상품, 광고주, 캠페인 집행 변화에 따라 매일 움직입니다. 광고 KPI 대시보드는 변동 규모를 빠르게 보여주지만, 어떤 항목이 변화를 만들었고 다음에 무엇을 확인해야 하는지까지 설명하지는 않습니다. 비즈니스 담당자는 상품, 업종, 광고주별 지표를 직접 비교하며 원인을 정리해야 했습니다. 이 반복 작업을 줄이기 위해 AI 에이전트가 광고 성과 데이터를 분석하고 리포트를 자동 생성하는 시스템을 개발했습니다. 에이전트가 LINE OA 광고와 Display 광고 매출 데이터를 분석해 전일, 전월, 전년 대비 변화를 계산하고, 주요 변동 요인과 성장 및 이탈 신호를 리포트로 만들어 Slack 메시지와 이메일로 보냅니다. 기존에는 담당자가 직접 여러 시스템에 접속해 데이터를 조회하고 원인을 정리해야 했지만, 도입 후에는 매일 자동 생성된 리포트에서 주요 변동 요인과 확인 대상을 바로 확인하게 됐습니다. 담당자는 데이터 수집과 정리보다 변화의 의미를 판단하고 후속 대응을 결정하는 데 더 집중할 수 있게 됐습니다. 개발 과정에서 가장 고민했던 점은 LLM에게 얼마나 많은 일을 맡길 것인가였습니다. 이 글에서는 LLM을 사용하면서 계산과 해석을 분리한 과정, 분석 품질을 높이기 위한 방법, 분석 에이전트로 원인 탐색을 확장한 설계를 소개합니다. 들어가기에 앞서 이 글에서 자주 쓰는 약어는 다음과 같습니다. 약어의미OALINE OA 광고 (공식계정 기반 광고)DADisplay 광고DoD전일 대비 (day over day)MoM전월 대비 (month over month)YoY전년 대비 (year over year)MTD월 누적 (month to date) AI 글로벌 광고 분석 리포트란? 본격적인 기술 설명에 앞서 AI 글로벌 광고 분석 리포트가 어떤 형태인지 먼저 소개합니다. 리포트는 다음 6개 섹션으로 구성되며, LINE OA 광고와 Display 광고의 KPI를 분석한 결과를 구조적으로 설명합니다. 섹션내용Executive SnapshotLINE OA 광고와 Display 광고 각각의 당일 핵심 변화와 가장 명확한 원인Key Drivers (OA)LINE OA 광고 변동 원인과 비즈니스 해석Key Drivers (DA)Display 광고 변동 원인과 비즈니스 해석Trend Diagnosis (OA)LINE OA 광...