ollama/ollama-js

해결하는 문제

JavaScript 애플리케이션과 Ollama를 통합하는 과정을 간소화하는 전용 JavaScript 라이브러리를 제공하여, Ollama REST API에 대한 원시 HTTP 요청을 수동으로 구성할 필요를 없애줍니다.

작동 방식

이 라이브러리는 Ollama REST API의 래퍼 역할을 하며, 로컬 또는 클라우드 호스팅 모델과 상호 작용하기 위한 일련의 비동기 함수를 제공합니다. Node.js 및 브라우저 환경(특정 브라우저 모듈을 통해)을 모두 지원하며, 사용자 지정 호스트 및 헤더를 포함한 사용자 지정 클라이언트 구성을 허용합니다.

대상 사용자

Ollama를 사용하여 채팅, 텍스트 생성, 임베딩과 같은 LLM 기능을 JavaScript 또는 TypeScript 애플리케이션에 통합하려는 개발자.

주요 특징

• 유연한 배포: 로컬 Ollama 인스턴스, Ollama 클라우드 모델 및 Cloud API 직접 액세스를 지원합니다.
• 스트리밍 지원: AsyncGenerator를 사용하여 실시간 응답 스트리밍을 활성화합니다.
• 포괄적인 모델 관리: 모델을 풀(pull), 푸시(push), 생성, 복사 및 삭제하는 메서드가 포함되어 있습니다.
• 고급 기능: 멀티모달 입력(이미지), 도구 호출 및 특수 "System One" 구조화 평가(선택, 점수 및 불리언)를 지원합니다.
• 유틸리티 도구: 웹 검색, 웹 가져오기 및 임베딩 생성을 위한 내장 함수를 제공합니다.