FUTO Swipe: 공개형 스와이프 입력 모델

1 hour ago 1

모바일 키보드의 스와이프 입력 방식을 공개 모델 + 알고리듬으로 구현하려는 시도
기존 고품질 스와이프 입력은 프라이버시 침해적 키보드 앱이나 라이선스 없는 비공개 라이브러리에 묶여 있어 대체재가 필요했음
완전 오프라인 안드로이드 앱 FUTO Keyboard에 탑재되며, 모델을 내려받아 직접 빌드도 가능
2024년 8월부터 QWERTY 영어 스와이프를 수집해 100만 건 이상을 확보했고, 2025년 3월 MIT 라이선스 데이터셋으로 HuggingFace에 공개함
구조는 범용 Encoder, 언어별 ContextLM, 언어·레이아웃별 Decoder로 나뉘며, 테스트셋에서는 top-4 실패율 약 4%, OOV 제외 오류율 1% 미만을 기록함
전체 모델은 약 250만개 파라미터 규모, 활성 파라미터 약 136만 개의 소형 모델로 C++ 추론 라이브러리 swipe-library를 통해 저사양 기기에서도 밀리초 단위 실행을 목표로 함

공개 스와이프 입력 모델로 풀려는 문제

FUTO Swipe는 스와이프 경로를 단어 예측으로 변환하는 모델과 알고리듬 제품군임
현재 완전 오프라인 Android 키보드 앱인 FUTO Keyboard 에서 사용할 수 있음
웹페이지 데모는 페이지 크기를 줄이기 위해 서버 측에서 실행되지만, 실제 제품 환경에서는 온디바이스로 동작해 지연 시간이 더 낮음
FUTO는 이 시스템을 FUTO Keyboard용으로 주로 개발했지만, 더 넓은 커뮤니티의 모델 활용도 환영함
장기 투자 결과물이기 때문에 최종 사용자에게 보이는 형태의 저작자 표시를 요청하며, 모델 라이선스는 FUTO Model License를 따름

2024년 8월 swipe.futo.org에서 QWERTY 영어 스와이프 데이터 수집을 시작함
- 사용자는 모바일 웹페이지에 자발적으로 방문해 안내와 데이터셋 정보를 확인함
- 동의 후 주로 Wikipedia에서 온 문장을 단어별로 스와이프함
- 결과적으로 100만 건 이상의 스와이프가 만들어졌고, 일부 저품질 스와이프는 필터링됨
- 2025년 3월 100만 스와이프 데이터셋을 MIT 라이선스로 HuggingFace에 공개 함
모델 아키텍처는 역할이 다른 세 모델로 나뉨
- Encoder: 레이아웃과 언어에 독립적인 범용 모델로 일반적인 스와이프 입력 예측에 쓰이지만, 최첨단 정확도를 제공하지는 않음
- ContextLM: 단일 언어용의 아주 작은 언어 모델로, 앞선 단어를 바탕으로 말이 안 되는 후보를 제거해 예측 품질을 높임. 학습에 텍스트 데이터만 필요
- Decoder: 언어와 레이아웃에 특화된 모델로 레이아웃 특성을 학습해 최고 수준 정확도를 내며, 현재는 QWERTY 영어 Decoder만 있음

성능 수치는 벤치마크에 크게 의존하므로 실제 사용 결과는 달라질 수 있음
- 3개 모델과 beam width 300 조합에서 테스트셋 top-4 실패율은 약 4%
- 사전에 없는 단어를 제외하면 오류율은 1% 미만
- FUTO는 대형 기술 기업의 키보드와 맞먹는 수준으로 평가함
모델은 모바일 실행을 고려한 작은 규모임
- Encoder는 635,140개 파라미터
- Decoder는 추가 304,155개 파라미터
- ContextLM은 150만 개 파라미터이며, 이 중 110만 개는 임베딩
- 활성 파라미터는 1,364,271개, 총 파라미터는 2,494,767개
- 저사양 기기에서도 밀리초 단위로 실행 가능하고, 학습에는 워크스테이션 GPU 1개를 넘게 필요로 하지 않았음

모델 예측만으로는 충분하지 않아, 단어 후보를 점수화하고 가장 가능성 높은 후보를 찾는 사전 제약 beam search가 필요함
- 이를 위해 C++ 라이브러리인 swipe-library를 공개함
- swipe-library는 전체 추론, 디코딩, beam search를 처리해 스와이프 경로에서 단어 예측까지 연결함
- 모델은 FUTO Model License, 추론 라이브러리는 GPL로 제공됨
FUTO는 학습과 아키텍처를 더 자세히 다룰 논문을 준비 중임