kakao/khaiii

해결하는 문제

khaiii는 단어를 가장 작은 의미 단위인 어절로 분리하는 한국어 형태소 분석기입니다. 이는 한국어의 문법적·의미적 분석과 같은 자연어 처리(NLP) 작업에서 필수적인 전처리 단계입니다.

작동 방식

이전 버전이 사전과 규칙에 의존한 것과 달리, khaiii는 기계학습 기반의 데이터 중심 접근법을 사용합니다. 형태소 분석은 중요한 전처리 단계이므로 처리 속도를 우선시하기 위해 순환 신경망(RNN/LSTM) 대신 합성곱 신경망(CNN)을 사용합니다.

신경망의 오류와 '블랙박스' 성격을 해결하기 위해 두 가지 사용자 사전 메커니즘을 제공합니다:

• 사전 분석 사전: 문맥과 관계없이 항상 동일한 분석 결과를 가지는 단어(예: 특정 용어)에 사용.
• 오분석 보정: 여러 단어에서 문맥을 고려해 특정 오분석을 수정하는 기능.

대상 사용자

한국어 자연어 처리(NLP) 작업에 종사하는 개발자 및 연구자로, 빠르고 기계학습 기반의 형태소 분석기를 텍스트 전처리에 필요로 하는 사람.

주요 특징

• CNN 기반 아키텍처: RNN 기반 대안보다 속도를 최적화.
• 데이터 기반: 21세기 세종 프로젝트 코퍼스의 개선된 버전(약 85만 문장)으로 학습됨.
• 사용자 정의 가능: 사전 분석 사전과 보정을 통해 신경망 결과를 오버라이드 가능.
• 다양한 모델 크기: 정확도(F-스코어)와 처리 속도의 균형을 위해 "base" 및 "large" 모델 제공.