curiosity-ai/catalyst

해결하는 문제

Catalyst는 C# 및 .NET을 위한 고성능 자연어 처리(NLP) 라이브러리입니다. Python 기반 NLP 도구의 빠르고 크로스 플랫폼인 대안을 제공하여, 엔티티 인식과 품사 태깅과 같은 복잡한 언어 분석을 속도를 희생하지 않고 .NET 애플리케이션에 직접 통합할 수 있게 합니다.

작동 방식

spaCy의 설계에서 영감을 받은 Catalyst는 텍스트 처리에 파이프라인 기반 접근 방식을 사용합니다. 최신 .NET(.NET 9 및 10을 타겟팅)과 효율적인 메모리 관리(ReadOnlySpan<char> 등)를 활용하여 초당 100만 토큰을 초과하는 토큰화 속도 같은 높은 처리량을 달성합니다. 이 라이브러리는 NuGet 패키지를 통한 사전 학습된 모델의 지연 로딩을 지원하며, FastText와 StarSpace를 사용하여 단어 및 문서 임베딩 훈련에 대한 내장 지원을 제공합니다.

대상 사용자

C# 환경 내에서 이름 붙은 엔티티 인식, 레마티제이션, 언어 감지 등의 작업을 위해 전문 등급의 빠른 NLP 툴킷이 필요한 .NET 개발자를 위한 것입니다.

하이라이트

• 고성능: 비파괴적이고 정규식 없는 토큰화를 갖춘 순수 C# 구현.
• 포괄적인 NLP 도구: 품사 태깅, 레마티제이션, 언어 감지를 포함합니다.
• 유연한 엔티티 인식: 가제티어, 규칙 기반, 퍼셉트론 기반 이름 붙은 엔티티 인식(NER)을 지원합니다.
• 임베딩 지원: FastText 및 StarSpace 임베딩 훈련을 즉시 사용할 수 있습니다.
• 크로스 플랫폼: Windows, Linux, macOS, ARM에서 실행됩니다.