pepperoni21/ollama-rs

해결하는 문제

개발자가 수동 HTTP 요청을 작성하지 않고도 Rust 애플리케이션에 로컬 LLM을 통합할 수 있도록, Ollama API와 상호작용할 수 있는 간단하고 사용하기 쉬운 Rust 라이브러리를 제공합니다.

작동 방식

이 라이브러리는 Ollama API를 래핑하는 역할을 하며, 요청과 응답을 위한 타입 안정적인 Rust 구조체를 제공합니다. 표준 생성, 스트리밍 응답, 대화 기록을 관리하는 채팅 모드와 같은 다양한 상호작용 모드를 지원합니다. 또한 Coordinator와 function 매크로를 통해 로컬 Rust 함수(정의는 function 매크로를 사용)를 실행하고 결과를 LLM에 다시 전달할 수 있는 도구 사용 기능을 포함합니다.

대상 사용자

Ollama를 통해 소프트웨어 프로젝트에서 로컬 LLM을 실행하고 관리하고 싶은 Rust 개발자입니다.

주요 특징

• 완전한 API 지원: 생성, 채팅, 모델 관리(생성, 복사, 삭제, 목록), 임베딩을 모두 지원합니다.
• 도구 사용: Coordinator와 function 매크로를 통해 LLM용 사용자 정의 도구를 쉽게 생성하고 통합할 수 있습니다.
• 스트리밍: 텍스트 생성 및 모델 생성 모두에 대해 스트리밍 응답을 지원합니다.
• 대화 기록: 대화 기록 추적을 내장된 방식으로 지원합니다.
• 사고 모드: "사고 과정" 출력을 제공하는 모델을 지원합니다.