FUTO Swipe: 오픈소스 스와이프 타이핑 모델 및 데이터셋

FUTO Swipe는 개인 정보 침해 키보드 앱 없이도 높은 정확도의 스와이프 타이핑을 제공하도록 설계된 오픈소스 모델 및 알고리즘 패밀리입니다. 레이아웃에 구애받지 않는 인코더, 언어별 디코더, 그리고 컨텍스트를 위한 작은 언어 모델을 결합함으로써, FUTO Swipe는 테스트 세트에서 약 4%의 top‑4 실패율을 달성하여 주요 상용 키보드 솔루션과 동등한 성능을 보여줍니다.

모델 아키텍처 및 구성 요소

FUTO Swipe는 보편적인 적용성과 높은 정밀도를 균형 있게 맞추기 위해 3단계 모델 아키텍처를 사용합니다:

• Encoder Model: 레이아웃과 언어에 구애받지 않는 범용 모델로, 일반적인 스와이프 타이핑 예측에 사용됩니다. 다재다능하지만 가장 높은 정확도를 제공하지는 않습니다.
• Decoder Model: 특정 키보드 레이아웃과 언어에 특화된 모델로, 해당 레이아웃의 특성을 반영합니다. 현재는 가장 높은 정확도를 제공하는 QWERTY 영어 디코더가 제공됩니다.
• ContextLM: 단일 언어의 텍스트 데이터로 학습된 작은 언어 모델로, 문장 내 앞선 단어들을 기반으로 비논리적인 단어 예측을 필터링하여 전체 품질을 향상시킵니다.

세 모델을 모두 사용하고 빔 폭을 300으로 설정하면, (어휘 외 경우를 제외하고) 오류율이 1% 이하에 달합니다.

데이터셋 및 학습

이 모델들을 학습하고 평가하기 위해 FUTO는 100만 개 이상의 QWERTY 영어 스와이프 데이터셋을 수집했습니다. 이 데이터는 2024년 8월에 swipe.futo.org 도메인에서 자발적인 사용자 기여를 통해 수집되었으며, 참가자들은 위키피디아 문장을 단어 단위로 스와이프했습니다.

2025년 3월, FUTO는 이 100만 스와이프 데이터셋을 MIT 라이선스로 HuggingFace에 공개하여 스와이프 타이핑 시스템 개발을 위한 공개 자원을 제공했습니다.

성능 및 리소스 발자국

FUTO Swipe는 최소 지연 시간과 낮은 하드웨어 요구사항으로 디바이스 내 실행을 목표로 설계되었습니다:

• 파라미터 수: 시스템은 활성 파라미터 1,364,271개와 전체 파라미터 2,494,767개로 구성됩니다. ContextLM이 가장 큰 구성 요소로, 150만 파라미터(임베딩 포함 110만 파라미터)를 차지합니다.
• 하드웨어 효율성: 모델은 저사양 디바이스에서도 밀리초 단위로 실행될 수 있을 만큼 작습니다. 학습 과정도 매우 효율적이어서 단일 워크스테이션 GPU만으로 충분했습니다.

구현 및 통합

원시 스와이프 경로를 단어 예측으로 변환하기 위해 FUTO는 추론, 디코딩 및 사전 제약 빔 서치를 처리하는 C++ 라이브러리 swipe-library를 제공합니다.

라이선스 및 제공 여부

• 모델: FUTO Model License 하에 제공되며(최종 사용자에 대한 귀속 필요).
• 추론 라이브러리: GPL 라이선스로 공개되었습니다.
• 데이터셋: HuggingFace에서 MIT 라이선스로 제공됩니다.

요약: FUTO는 모바일 디바이스에서 높은 정확도와 개인 정보 보호를 동시에 구현할 수 있도록, 오픈소스이며 저용량인 모델 패밀리와 100만 스와이프 데이터셋을 공개했습니다.

제목: FUTO Swipe: 오픈소스 스와이프 타이핑 모델 및 데이터셋