ikawaha/kagome

해결하는 문제

Kagome은 일본어 형태소 분석기를 제공하여 개발자가 일본어 텍스트를 단어로 토큰화하고 품사 분석을 수행할 수 있도록 합니다. 일반적으로 일본어 토큰화는 복잡한 외부 의존성과 사전 관리가 필요하지만, Kagome은 순수 Go로 구현되어 있으며 사전을 바이너리에 직접 내장함으로써 배포 장벽을 제거합니다.

작동 방식

MeCab-IPADIC 및 UniDic과 같은 지원되는 사전을 사용하여 텍스트를 처리하고 형태소 분석을 수행합니다. 일반, 검색(검색 히ュ리스틱 최적화), 확장(알 수 없는 단어에 대한 유니그램 포함)의 세 가지 세그멘테이션 모드를 제공하여 다양한 토큰화 전략을 지원합니다. CLI, Go 라이브러리, RESTful API 서버, 또는 브라우저에서 실행 가능한 WebAssembly로 컴파일하여 사용할 수 있습니다.

대상 사용자

일본어 텍스트 처리, 검색 엔진, 음성 합성 시스템을 개발하는 개발자들, 또는 복잡한 C 기반 종속성 대신 자체 포함형 Go 도구를 선호하는 사용자들.

주요 특징

• 자체 포함형: 사전이 바이너리에 내장되어 배포가 간편합니다.
• 다중 모드: 일반, 검색, 확장 세그멘테이션 전략을 지원합니다.
• 크로스 플랫폼: Go 라이브러리, C 공유 라이브러리(FFI를 통한 Python/PHP 사용), WebAssembly, Docker 이미지로 제공됩니다.
• 통합 도구: RESTful API 서버, 문장 분리기, 디버깅용 레이티스 뷰어를 포함합니다.