ollama4j/ollama4j
A simple Java library for interacting with Ollama server.
What it solves
Ollama4j는 Ollama 서버와 상호작용하기 위한 Java 네이티브 방식을 제공하여, Java 개발자가 Ollama REST API에 수동으로 HTTP 요청을 작성할 필요가 없도록 합니다. 타입 안정성이 보장된 래퍼 및 바인딩으로서 로컬 LLM을 Java 애플리케이션에 통합하는 과정을 단순화합니다.
How it works
이 라이브러리는 Ollama 서버와 직접 통신하는 클라이언트 측 래퍼로 작동합니다. 모델 관리, 프롬프트 전송, 응답 처리를 위한 구조화된 Java API를 제공하며, Java 메서드 호출을 Ollama 백엔드의 적절한 API 요청으로 변환합니다.
Who it’s for
Minecraft 모드, 웹 UI 또는 데이터 생성 도구와 같이 로컬 대규모 언어 모델(LLM)을 소프트웨어 프로젝트에 통합하고 싶지만, 가공되지 않은 REST API 호출을 다루고 싶지 않은 Java 개발자.
Highlights
- Comprehensive LLM Features: 단일 턴 텍스트 생성, 히스토리가 포함된 멀티 턴 채팅, 그리고 추론/사고 모드를 지원합니다.
- Advanced Tooling: 어노테이션을 통한 내장 도구/함수 호출 및 Model Context Protocol (MCP) 지원을 포함합니다.
- Multimodal Capabilities: 이미지 입력을 지원하여 비전 기능이 있는 모델을 사용할 수 있습니다.
- Model Management: Java에서 직접 모델을 pull, create, delete, list 할 수 있는 유틸리티를 제공합니다.
- Developer Utilities: 타입 안정성이 보장된 옵션 빌더, 비동기 생성 API, 그리고 성능 모니터링을 위한 내장 Prometheus metrics를 제공합니다.