bab2min/kiwipiepy

해결하는 문제

Kiwipiepy는 텍스트를 구성하는 형태소(의미의 최소 단위)로 분해하고 품사(POS) 태그를 할당하는 한국어 형태소 분석기입니다. 한국어의 복잡한 교착어적 특성을 처리하는 문제를 해결하며, 오타, 방언, 사용자 정의 어휘를 다루기 위한 도구를 제공합니다.

작동 방식

Kiwi 형태소 분석기를 위한 Python API를 제공합니다. 이 시스템은 사용자 정의 단어와 규칙을 지원하는 사전 기반 접근 방식을 사용합니다. 한국어 특유의 언어적 특징인 '사이시옷'을 처리하는 로직과 다양한 오타 교정 모드(기본, 연속, 연장)가 포함되어 있습니다. 또한 규칙 기반 또는 경량 문자 기반 모델을 사용한 OOV(미등록어) 탐지도 지원합니다.

대상 사용자

한국어 텍스트에 대한 자연어 처리(NLP)를 수행하는 개발자 및 데이터 과학자. 검색 엔진, 챗봇, 또는 정확한 토큰화와 품사 태깅이 필요한 텍스트 분석 도구를 구축하는 분들에게 적합합니다.

주요 특징

• 고급 오타 교정: 기본적인 오타, 결합 자음/모음(연속), 강조를 위한 장모음(연장)을 수정하는 여러 모드를 지원합니다.
• 사용자 정의 사전: 자동 활용 처리가 포함된 동사와 형용사를 포함하여 사용자 단어를 추가할 수 있으며, 공백이 포함된 단어도 지원합니다.
• 방언 지원: 다양한 한국어 방언(예: 제주, 경상, 전라) 및 고어에 대한 기본적인 분석 기능을 포함합니다.
• 유연한 토큰화: '사이시옷'을 처리하는 옵션과 다른 시스템과의 호환성을 높이기 위한 Jamo 출력 옵션을 제공합니다.
• OOV 탐지: 문자 기반 모델을 사용하여 미등록어가 무의미한 조각으로 잘못 분리되는 것을 방지합니다.