taketwo/llm-ollama

해결하는 문제

이 프로젝트는 llm 명령줄 도구용 플러그인을 제공하여, 로컬, 원격 호스트 또는 Ollama의 호스팅 클라우드 서비스에서 실행 중인 Ollama 서버에 호스팅된 모델에 접근하고 상호작용할 수 있도록 합니다.

작동 방식

이 플러그인은 OLLAMA_HOST 환경 변수를 통해 Ollama 서버에 연결합니다. 서버에서 사용 가능한 모델을 자동으로 탐지하고 llm 도구에 등록합니다. 단일 프롬프트, 인터랙티브 채팅 세션, 임베딩 생성 등 다양한 상호작용 모드를 지원합니다. 또한 Ollama의 Modelfile 매개변수를 llm 도구의 옵션 플래그(-o)에 매핑하여 온도, 컨텍스트 창 크기 등 모델 동작을 세밀하게 조정할 수 있습니다.

대상 사용자

llm CLI 도구를 사용하고 로컬 또는 원격 Ollama 관리 모델을 작업 흐름에 통합하고자 하는 개발자 및 AI 애호가.

주요 기능

• 다중 모달 지원: 시각 기능을 갖춘 모델에 이미지 첨부를 지원합니다.
• 도구 사용: 모델에 도구를 전달할 수 있으며, Ollama API를 통해 웹 검색 및 웹 가져오기용 내장 도구를 포함합니다.
• 구조화된 출력: JSON 스키마를 통해 Ollama의 구조화된 출력 지원과 통합됩니다.
• 비동기 지원: Python의 asyncio 라이브러리와 함께 사용 가능한 비동기 LLM 모델을 제공합니다.
• 유연한 연결성: 로컬, 원격(기본 인증 및 사용자 정의 헤더 지원), 클라우드 호스팅된 Ollama 서버를 모두 지원합니다.