ollama/ollama-python

해결하는 문제

Python 개발자가 원시 REST API 호출을 작성하지 않고도 로컬 또는 클라우드를 통해 대규모 언어 모델(LLM)을 실행하고 관리할 수 있도록 Ollama와 통합 및 상호작용하는 간소화된 방법을 제공합니다.

작동 방식

이 라이브러리는 Ollama REST API를 위한 Python 래퍼 역할을 합니다. 요청을 보내기 위해 동기식 Client와 AsyncClient를 모두 제공합니다. 사용자는 chat 및 generate와 같은 고수준 함수를 사용하여 모델과 상호작용할 수 있으며, pull, push, create, delete와 같은 명령을 통해 모델을 관리할 수 있습니다.

대상 사용자

자체 하드웨어에서 모델을 실행하거나 Ollama의 클라우드 호스팅 모델을 활용하는 등, LLM 기능이 필요한 애플리케이션을 구축하는 Python 개발자.

주요 특징

• 로컬 및 클라우드 지원: 모델을 로컬에서 실행하거나 API 키를 사용하여 Ollama 클라우드로 오프로드할 수 있는 기능.
• 비동기 지원: 비차단 요청을 위한 AsyncClient 및 스트리밍 응답을 위한 비동기 제너레이터 포함.
• 비동기 스트리밍: stream=True 매개변수를 통한 실시간 응답 스트리밍 지원.
• 포괄적인 모델 관리: 모델을 pull, push, copy, delete하고 시스템 프롬프트와 함께 커스텀 모델을 create할 수 있는 내장 함수.
• 임베딩 지원: 단일 입력 또는 배치 텍스트에 대한 임베딩 생성 기능.