bab2min/Kiwi

해결하는 문제

Kiwi는 고성능의 한국어 형태소 분석기로, 한국어 문장을 가장 작은 의미 단위(형태소)로 분해하는 데 높은 정확도와 속도를 제공합니다. 특히 한국어에서는 서로 다른 형태소 조합이 동일한 표면 텍스트를 생성할 수 있는 모호성 문제를 해결하며, 간단한 오타를 자동으로 수정하는 기능도 제공합니다.

작동 방식

속도를 위해 C++ 커널을 기반으로 구현된 Kiwi는 국소적 맥락을 위한 통계적 언어 모델과 전역적 맥락을 위한 Skip-Bigram 모델을 결합하여 모호성을 해결합니다. Sejong 및 Modu 코퍼스로 학습되었으며, Sejong 품사(POS) 태그 체계를 따릅니다. 멀티스레딩을 지원하여 대규모 텍스트 데이터셋의 빠른 처리가 가능합니다.

대상 사용자

자연어 처리(NLP), 텍스트 마이닝, 인문학 분야의 개발자 및 연구자에게 적합하며, 신뢰성 있고 빠르며 크로스플랫폼인 한국어 텍스트 분석 도구가 필요한 분들에게 적합합니다.

주요 특징

• 고속성: 다른 한국어 형태소 분석기와 비교해 빠른 텍스트 분석을 최적화했습니다.
• 모호성 해소: 가벼운 언어 모델을 사용해 모호한 형태소 조합을 정확히 구분합니다.
• 광범위한 호환성: Python, Java, C#, Go, Rust, Swift, WebAssembly 등 다양한 언어용 래퍼를 제공합니다.
• 추가 유틸리티: 내장된 문장 분리 및 자동 오타 수정 기능을 포함합니다.