크래프톤, 21B 한영 이중언어 음성 AI 모델 'A.X K2 Raon-Speech' 공개

1 week ago 19

SKT의 A.X K2 Light 20B-A3B 텍스트 백본에 KRAFTON이 자체 학습한 음성 인코더와 음성 코덱을 결합한 모델로, 전체 21.2B 중 약 3.5B 파라미터를 활성화
Raon-Speech-9B의 학습 방식을 사용하며 세 가지 주요 구성 요소를 통합
- 텍스트 백본: A.X K2 Light 20B-A3B MoE
- 음성 인코더: KRAFTON이 독립적으로 학습한 AuT 인코더. Qwen3-ASR 아키텍처 기반(24개 레이어, 317M 파라미터)
- 음성 생성 모듈: KRAFTON이 독립적으로 학습한 Mimi 계열 신경망 음성 코덱. 약 96M 파라미터
하나의 모델에서 STT/TTS, SpeechQA/SpokenQA, 텍스트 질의응답, 도구 호출, 턴 기반 멀티모달 대화를 지원하며 감정/억양/화자 정보도 응답 생성에 활용
텍스트 백본은 48개 레이어와 2,048 차원 은닉 상태를 사용하며, 128개 라우팅 전문가 중 토큰마다 상위 8개를 활성화하며, 최대 131,072 토큰
한국어 24개와 영어 22개 등 46개 벤치마크 평가에서 30B 이하 공개 음성 언어 모델 중 한국어 종합 1위 0.72, 영어 종합 3위 0.75를 기록
화자 참조 음성을 이용한 음성 복제와 참조 음성의 운율을 이어가는 TTS continuation을 지원하지만, BF16 가중치가 약 42.4GB로 80GB GPU 또는 적절한 다중 GPU 구성을 권장함
연구와 비상업적 프로토타이핑을 위한 CC BY-NC 4.0 모델로, 식별 가능한 화자의 음성을 조건으로 사용하거나 생성할 때 이용자가 동의를 확보해야 함
크래프톤은 과학기술정보통신부가 주관하는 ‘독자 AI 파운데이션 모델 프로젝트(독파모)' SK텔레콤 팀에 참여해 멀티모달모델 연구를 진행하고 있음

Read Entire Article

크래프톤, 21B 한영 이중언어 음성 AI 모델 'A.X K2 Raon-Speech' 공개

Related

프랑스, 사전 동의 없는 텔레마케팅 전화 금지

GitHub Actions에 OIDC audience 제약이 필요한 이유

H3-metal - Apple Silicon용 네이티브 MiniMax-H3 추론

AI가 웹을 잠식하면서 인터넷의 집단 기억이 사라지고 있음

Rails는 DHH 없이도 Rails일 수 있을까

LLM은 PCB 배선을 어디까지 할 수 있을까? 숙련자와 Net 단위로 비교해봤습니다

Hanami - Rails를 대체하는 Ruby 프레임워크

Show GN: 프리터뷰 - 가입 없이 포트폴리오부터 채점해보는 AI 모의면접

Tips

Popular

What's New in SAP S/4HANA Cloud Public Edition 2608 | Releas...

AI and Next-Gen ERP Innovations in SAP S/4HANA Cloud Public ...

Codex 사용량 한도 리셋 추적

Thames Reach Selects SAP Cloud ERP to Strengthen Operational...

NVIDIA·CoreWeave·Nebius가 만든 GPU 붐의 순환 금융 구조

Product Compliance in SAP S/4HANA Cloud Public Edition 2608 ...

'킬러들의 쇼핑몰2' 감독 "시즌3 고민 중"⋯이동욱 "시키면 ...

When Insight Is Not Enough: What’s New in SAP Customer Exper...

Asset Management in SAP S/4HANA Cloud Public Edition 2608 | ...

Environment, Health, and Safety in SAP S/4HANA Cloud Public ...