WorksApplications/SudachiDict
A lexicon for Sudachi
해결하는 문제
Sudachi 일본어 토크나이저를 위한 포괄적인 사전(lexicon)을 제공하여 일본어 텍스트의 정확한 단어 분할과 형태소 분석을 가능하게 합니다.
작동 방식
메모리 사용량과 커버리지의 균형을 맞추기 위해 다양한 크기의 사전 구축된 사전(lexicon)을 제공합니다. SudachiPy(Sudachi의 Python 버전)와 통합되어 설치 가능한 Python 패키지로 제공되며, 사용자는 NLP 파이프라인에 필요한 사전(lexicon) 에디션을 지정할 수 있습니다.
대상 사용자
일본어 자연어 처리(NLP)를 다루며 토크나이제이션을 위해 신뢰할 수 있는 사전(lexicon)이 필요한 개발자와 연구자입니다.
주요 특징
- 세 가지 크기로 제공: Small (UniDic 어휘), Core (기본 어휘), Full (기타 고유명사 포함).
- Python 사용자를 위한 pip를 통한 쉬운 설치.
- UniDic과 NEologd의 일부를 기반으로 함.
- Apache License 2.0 하에 라이선스 제공.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- Dispatch
- 프로젝트