[디지털문서 인사이트] 생성형 AI 시대의 정보시스템 구축, 모델 성능보다 책임 있는 아키텍처가 먼저다

오랜 기간 정보시스템 감리 업계에 종사하며 다양한 정보시스템이 올바르게 구축되고 안정적으로 작동하는지 검증해 왔다. 많은 기술 변화를 경험했지만, 최근 생성형 인공지능(AI)이 가져온 변화는 그 깊이와 속도가 이전과 다르다. 이제 AI 기반 환경에서 보고서 초안 작성, 상담 응대, 문서 요약, 번역, 코드 생성은 더 이상 전문가만의 영역이 아니다.

그러나 개인이 AI 서비스를 이용하는 것과 기관 또는 기업이 자체 정보시스템으로 생성형 AI 서비스를 구축하는 일은 전혀 다르다. 기관 또는 기업 시스템은 보안, 개인정보 보호, 내부 데이터 품질, 업무 규정, 비용, 책임 소재라는 엄격한 제약 안에서 작동해야만 한다.

최근 개발 현장에서는 모델을 새로 학습시키기보다 내부 문서와 지식을 검색해 답변에 결합하는 검색 증강 생성(RAG) 방식이 널리 활용된다. 성공적인 구현을 위해서는 원천 데이터 식별, 정제, 청킹, 임베딩, 벡터 DB 설계, 검색 정확도, 답변 품질 검증이 하나의 파이프라인으로 관리돼야 한다. 그러나 실제 사업에서는 AI 과업이 WBS에 충분히 반영되지 않거나 RAG 설계가 세분화되지 않아, 사업 후반부에 데이터 흐름, 성능, 답변 품질 문제가 쟁점화되는 경우가 적지 않다.

또 생성형 AI는 확률적 특성 때문에 같은 질문에도 다른 답을 낼 수 있으며, 환각, 편향, 드리프트, 프롬프트 공격, 개인정보 노출 위험을 동반한다. 따라서 개발 완료를 사업의 끝으로 봐서는 안 된다. 운영 단계에서 응답 품질, 토큰 사용량, 지연 시간, 데이터 변경, 모델 버전을 지속적으로 모니터링하는 LLMOps 체계가 필요하다. 특히 부적절한 답변을 걸러내는 가드레일과 인간 검토 절차(Human-in-the Loop), 비상 차단, 설명 가능성, 데이터 계보(Data-Lineage) 관리는 필수 통제 항목이다.

최근 흐름은 단순 질의응답형 RAG를 넘어 Advanced RAG와 에이전틱 AI(Agentic AI)로 빠르게 발전하고 있다. 여러 에이전트가 업무를 나눠 수행하고 외부 도구와 기존 시스템을 호출하면 생산성은 높아진다. 그러나 에이전트별 역할과 책임, 권한 통제, 실행 이력 추적, 예외 처리 기준이 명확하지 않으면 통제 불능의 새로운 위험이 될 수 있다.

결국 생성형 AI 기반 정보시스템의 성공 여부는 단순히 고성능 LLM 모델을 썼느냐로 결정되지 않는다. 진정한 성패는 해당 기관이 지닌 고유한 업무 맥락과 프로세스를 모델 아키텍처에 이식 정도(Context)와 RAG의 근간이 되는 내부 데이터의 신뢰성과 무결성 확보(Data Quality)이며 마지막으로 환각이나 편향 같은 확률적 리스크를 통제할 수 있는 책임 있는 거버넌스 체계(LLMOps)라고 할 수 있다.

생성형 AI라는 거대한 파도를 안전하게 활용하기 위해서는 개발 전 과정을 포괄하는 공통 가이드라인과 정량화된 품질 기준, 그리고 사후 운영 기준이 선행되어야 한다. 특히 AI 아키텍처와 LLMOps의 안정성을 객관적으로 진단할 현장 중심의 전문 가이드 정립이 시급하다. 이는 단순한 기술 선택의 문제가 아니라 책임 있는 정보시스템을 구현하기 위한 본질적 조건이며, 이제는 결코 미룰 수 없는 시대적 과제다.

박호순 씨에이에스 전무 biztotal@casit.co.kr