일레븐랩스, AI 더빙 모델 '더빙 v2' 출시…원본 감정 그대로 재현

일레븐랩스 더빙 v2 로고. [사진=일레븐랩스 제공]

[아이티비즈 김문구 기자] 일레븐랩스가 새로운 인공지능(AI) 더빙 모델 '더빙 v2(Dubbing v2)' 선보였다.

일레븐랩스는 원본의 감정 표현과 퍼포먼스를 그대로 재현하는 '더빙 v2'를 '일레븐API(ElevenAPI)'로 제공한다고 10일 발표했다.

'더빙 v2'는 이번 API 공개를 통해 개발자와 기업이 자사의 제품 및 워크플로우에 직접 연동하고 통합할 수 있게 됐다.

'더빙 v2'는 음성을 음성으로 직접 변환하는(audio-to-audio) 아키텍처를 채택한 모델이다. 기존의 '음성 인식 → 번역 → 음성 합성(클론 보이스)' 파이프라인 방식과 달리, 입력된 음성을 기반으로 음성 출력을 직접 생성하기 때문에 원본의 감정 표현과 퍼포먼스의 섬세한 뉘앙스를 더욱 충실하게 반영할 수 있다.

일레븐랩스는 콘텐츠 크리에이터, 미디어 기업, 엔터프라이즈 등 글로벌 시청자를 대상으로 고품질의 콘텐츠를 제공하고자 하는 기업 고객층을 주요 대상으로 하고 있다.

‘더빙 v2’가 지원하는 92개 언어에는 한국어와 일본어가 포함되어 있다. 이를 통해 K-콘텐츠의 글로벌 시장으로의 진출 시 완성도 높은 다국어 더빙은 물론, 해외 유수 콘텐츠의 한국어 더빙 등 양방향에서 활용할 수 있다