explosion/spacy-llm

해결하는 문제

개발자가 대규모 언어 모델(LLM)을 spaCy 파이프라인에 통합하여 학습 데이터 없이도 구조화된 NLP 작업을 수행할 수 있게 합니다. LLM 프롬프팅의 빠른 프로토타이핑 능력과 지도 학습 또는 규칙 기반 시스템의 운영 수준 신뢰성 사이의 간극을 메워줍니다.

작동 방식

spacy-llm은 사용자가 task(프롬프트 처리 및 응답 파싱 담당)와 model(사용할 LLM)을 정의할 수 있는 모듈식 시스템을 제공합니다. 이는 spaCy 파이프라인 내에서 직렬화 가능한 구성 요소로 통합되어, 비구조화된 LLM 응답을 견고하고 구조화된 출력으로 변환합니다. 또한 map-reduce 방식을 지원하여 프롬프트를 분할하고 결과를 병합함으로써 LLM의 컨텍스트 윈도우를 초과하는 텍스트도 처리할 수 있습니다.

대상 사용자

LLM을 사용하여 NLP 작업의 프로토타입을 빠르게 만들고 싶지만, 기존 spaCy 구성 요소와 혼합하거나 향후 운영 환경을 위해 더 작은 지도 학습 모델로 교체할 수 있는 유연성을 유지하려는 NLP 실무자 및 개발자.

주요 특징

• 광범위한 모델 지원: OpenAI, Cohere, Anthropic, Google PaLM, Microsoft Azure AI 및 Hugging Face를 통한 오픈 소스 모델(예: Llama 2, Mistral)과 인터페이스를 제공합니다.
• LangChain 통합: 모든 LangChain 모델 및 기능을 지원합니다.
• 사전 구축된 작업: NER, 텍스트 분류, 표제어 추출, 관계 추출, 감성 분석 등을 즉시 사용할 수 있습니다.
• 사용자 정의 가능: spaCy의 레지스트리를 통해 사용자 정의 프롬프팅, 파싱 및 모델 통합을 구현할 수 있습니다.