lindera/lindera

A multilingual morphological analysis library.

해결하는 문제

Lindera는 단어 사이에 공백이 없는 일본어 텍스트를 토큰화하기 위한 형태소 분석 라이브러리입니다. 개발자가 일본어 텍스트를 구성 요소로 분해하여 추가 처리할 수 있도록 간결한 API를 제공합니다.

작동 방식

성능을 위해 Rust로 작성된 이 라이브러리는 IPADIC과 같은 사전을 사용하여 텍스트를 분석합니다. 사용자는 사전 아카이브를 다운로드하고 경로를 지정하여 사전을 로드할 수 있는 사전 시스템을 제공합니다. 핵심 로직은 Rust로 구현되었지만, Python, Node.js, Ruby, PHP, WebAssembly 등 다양한 언어용 바인딩을 제공하여 브라우저에서도 사용할 수 있습니다.

대상 사용자

일본어 텍스트를 처리해야 하는 애플리케이션을 개발하는 개발자들. 특히 다양한 프로그래밍 환경에서 효율적인 토큰화와 형태소 분석이 필요한 경우에 적합합니다.

주요 특징

  • 고성능: 단일 스레드로 약 10–20 MB/s 속도로 일본어 텍스트를 토큰화합니다.
  • 다국어 지원: Python, Node.js, Ruby, PHP, WebAssembly용 공식 바인딩 제공.
  • 설치가 간편: 자동 사전 다운로드를 위한 CLI 도구 제공.
  • Rust 네이티브: 안정성과 속도를兼ね비춘 Rust로 구현되었습니다.

관련

  • 프로젝트
    WorksApplications/sudachi.rs

    고성능 일본어 형태소 분석기인 Sudachi의 Rust 구현체로, 일본어 텍스트의 토큰화 및 문법 분석을 빠르게 수행한다.

  • 프로젝트
    ikawaha/kagome

    내장 사전을 갖춘 순수 Go 일본어 형태소 분석기로, 텍스트를 토큰화하고 품사를 분석하며, 배포가 간편합니다.

  • 프로젝트
    polm/cutlet

    다양한 로마자 표기 체계와 URL 슬러그 생성을 지원하는 일본어 텍스트를 로마자로 변환하는 도구입니다.

  • 프로젝트
    megagonlabs/ginza

    GiNZA는 빠르고 정확한 의존 구문 분석, 품사 태깅, 표제어 추출 및 개체명 인식을 제공하는 일본어 NLP용 Python 라이브러리입니다. 표준 모델과 Transformer 기반 모델을 제공하며, GPU 가속을 지원하고, CLI 도구(`ginza`, `ginzame`)를 포함하며, spaCy와 통합되어 Python에서 쉽게 사용할 수 있습니다.

  • 프로젝트
    WorksApplications/Sudachi

    Sudachi는 Java 기반 일본어 형태소 분석기로, 텍스트를 토큰화하고 품사를 태그하며 표기 변형을 정규화합니다. 세 가지 분할 모드, 대규모 UniDic 기반 사전(small, core, full), 플러그인 아키텍처, 사용자 지정 사용자 사전 지원을 제공합니다. 명령줄 jar, Maven 라이브러리, 또는 Python/Rust 포트 및 Elasticsearch 플러그인을 통해 사용할 수 있습니다. Apache 2.0 라이선스 하에 배포됩니다.