taketwo/llm-ollama

해결하는 문제

이 프로젝트는 llm 명령줄 도구용 플러그인을 제공하여, 로컬, 원격 머신 또는 Ollama의 호스팅된 클라우드 서비스에서 실행 중인 Ollama 서버 위의 모델에 쉽게 접근하고 상호작용할 수 있도록 합니다.

작동 방식

이 플러그인은 OLLAMA_HOST를 통해 Ollama 서버에 연결하고, 사용 가능한 모든 모델을 자동으로 탐지합니다. 이 모델들을 llm 도구에 등록하여 프롬프트 처리, 채팅, 임베딩 생성에 사용할 수 있게 합니다. 기본 인증 및 리버스 프록시용 사용자 정의 헤더와 같은 다양한 연결 방법을 지원합니다.

대상 사용자

llm CLI 도구를 사용하고, 로컬 또는 원격 Ollama 관리 모델을 작업 흐름에 통합하고자 하는 개발자 및 AI 애호가.

주요 기능

• 다중 모달 지원: 시각 능력이 있는 모델에 이미지 첨부를 지원합니다.
• 도구 사용: Ollama 클라우드 API를 통해 내장된 웹 검색 및 fetch 도구를 포함한 LLM 도구를 지원합니다.
• 이유 추론 추적: "사고" 모델에서 나오는 추론 단계를 표시하며, 숨기거나 비활성화할 수 있는 옵션이 있습니다.
• 구조화된 출력: JSON 스키마를 통해 Ollama의 구조화된 출력 지원과 통합됩니다.
• 비동기 지원: Python의 asyncio와 함께 사용할 수 있는 비동기 LLM 모델을 제공합니다.
• 유연한 구성: Modelfile 매개변수를 옵션으로 지원하며, 모델 별칭을 자동으로 처리합니다.