피씨엔(PCN), 가상공간 '분위기' 읽는 XR AI 개발

피씨엔(PCN)이 가상현실(VR)과 메타버스에서 개별 사용자 감정을 넘어 집단 전체 '분위기'를 파악, 주변 환경을 자동 조절하는 기술을 개발했다. 표정 분석을 넘어 맥락을 인지하는 인공지능(AI) 기술로, 가상 공간 몰입도를 높일 전망이다.

피씨엔은 과학기술정보통신부와 정보통신기획평가원(IITP)이 주관하는 '실감콘텐츠핵심기술개발(R&D)' 사업 일환으로 '가상 환경 내 공유 감성 인식 방법·장치'를 개발했다.

이번 성과는 '비언어적 요소 기반 확장현실(XR) 콘텐츠 상호작용 기술 개발' 과제 4년 차 결과물이다.

기존 감성 인식 기술은 사용자 표정이나 음성 등 단편적 정보로 개인 감정을 분석하는 데 그쳤다. 다수 사용자가 모인 메타버스 회의나 행사장에서 집단 기류나 분위기를 읽지 못해 현실 같은 몰입감을 주는 데 한계가 있었다.

피씨엔은 △멀티모달 데이터 융합 △문맥 인지 △그래프 신경망(GNN) 기술을 결합해 이를 해결했다. 아바타 표정과 제스처 등 비언어적 요소와 사용자 생체 신호, 대화 텍스트 정보를 종합 분석한다.

특히 AI가 가상 공간 조명, 배치, 상황 등 '문맥'을 함께 읽는 것이 특징이다. 같은 미소라도 축제 상황인지 경쟁 상황인지에 따라 감정 맥락을 다르게 해석해 정확도를 높였다.

핵심은 '감성 전이' 모델링이다. 이금탁 피씨엔 전무는 “현실에서 옆 사람 감정이 전파되는 현상을 가상 공간에 구현했다”며 “고도화한 GNN 알고리즘으로 아바타 간 거리와 상호작용을 계산, 그룹 내 지배적인 감정 흐름을 모델링했다”고 설명했다.

기술을 적용하면 메타버스 환경이 사용자 감정에 반응하는 '적응형 공간'으로 변모한다. 그룹 공유 감성이 '즐거움'으로 파악되면 조명을 따뜻하게 바꾸고 경쾌한 배경음악을 재생한다. 반대로 '긴장' 상태가 감지되면 차분한 분위기로 환경을 자동 조절한다.

송광헌 피씨엔 대표는 “단순 가상 공간 구축을 넘어 그 안에서 일어나는 인간의 복잡한 감정 교류를 기술적으로 이해하고 반응하게 했다”며 “남은 연구 기간 기술 완성도를 높여 차세대 소셜 VR, 원격 교육, 심리 치료 등 다양한 서비스에 적용할 수 있는 표준 모델을 제시하겠다”고 말했다.

류태웅 기자 bigheroryu@etnews.com