pepperoni21/ollama-rs
A simple and easy-to-use library for interacting with the Ollama API.
해결하는 문제
Ollama API와 상호작용하기 위한 간단하고 사용하기 쉬운 Rust 라이브러리를 제공하여, 개발자가 원시 HTTP 요청을 작성하지 않고도 로컬 LLM을 Rust 애플리케이션에 통합할 수 있게 합니다.
작동 방식
이 라이브러리는 Ollama API의 래퍼 역할을 하며, 다양한 작업에 대해 타입이 지정된 요청과 응답을 제공합니다. tokio를 통한 비동기 통신을 지원하며, 도구 사용(함수 호출) 및 채팅 기록을 관리하기 위한 Coordinator를 포함합니다.
대상 사용자
Ollama 또는 llmman과 같은 호환 가능한 러너를 사용하여 로컬 대규모 언어 모델을 실행하고 관리하려는 Rust 개발자.
주요 특징
- 포괄적인 API 지원: 완성 생성, 채팅 모드, 임베딩 생성 및 모델 관리(생성, 복사, 삭제)를 지원합니다.
- 스트리밍 지원: 텍스트 생성 및 모델 생성 모두에 대해 스트리밍 응답을 제공합니다.
- 함수 호출:
Coordinator와function매크로가 포함되어 있어 LLM이 사용할 사용자 지정 도구를 쉽게 만들고 연결할 수 있습니다. - System One 통합: 선택, 예/아니오, 점수 매기기 질문을 위한 의사 결정 모델(
nimble등)을 지원합니다. - 사고 모드: 내부 추론/사고 과정을 제공하는 모델을 지원합니다.
관련
- 프로젝트
- 프로젝트
- Dispatch
- 프로젝트
- Dispatch