Ollama Python 및 JavaScript 라이브러리 출시

Ollama가 공식 Python 및 JavaScript 라이브러리를 출시하여, 개발자들이 몇 줄의 코드만으로 애플리케이션에 LLM 기능을 통합할 수 있게 되었습니다. 이 라이브러리들은 Ollama REST API의 기능과 동작을 그대로 반영하는 프로그래밍 인터페이스를 제공합니다.

Python 및 JavaScript를 위한 공식 라이브러리 지원

Ollama는 이제 GitHub를 통해 사용할 수 있는 Python 및 JavaScript 전용 라이브러리를 제공합니다. 이 라이브러리들은 해당 언어를 사용하는 개발자들의 통합 과정을 원활하게 만들도록 설계되었습니다.

• Python 라이브러리: ollama-python
• JavaScript 라이브러리: ollama-js

핵심 기능 및 구현

Python과 JavaScript 라이브러리 모두 채팅, 텍스트 완성, 멀티모달 입력을 포함한 Ollama의 전체 기능 세트를 지원합니다.

채팅 및 기본 통합

개발자들은 ollama.chat 메서드를 사용하여 기본적인 채팅 인터페이스를 구현할 수 있습니다. Python의 경우, pip install ollama를 통해 설치하고 특정 모델(예: llama2)과 메시지 배열을 사용하여 chat 함수를 호출함으로써 이를 수행할 수 있습니다.

JavaScript의 경우, npm install ollama를 통해 설치하고 모델 및 메시지 설정을 포함하여 await ollama.chat을 사용합니다.

고급 사용 사례

이 라이브러리들은 다음과 같은 여러 고급 LLM 워크플로우를 지원합니다:

• Streaming: Python 라이브러리는 stream=True를 사용하여 실시간 응답 생성을 지원하며, 출력을 청크 단위로 출력할 수 있게 합니다.
• Multi-modal Inputs: llava와 같은 모델을 사용하여, 개발자들은 메시지 배열 내에 이미지 데이터(이진 데이터로 읽음)를 전달하여 이미지 분석을 수행할 수 있습니다.
• Text Completion: ollama.generate 메서드는 프롬프트 기반의 텍스트 완성을 가능하게 하며, 이는 stable-code와 같은 모델을 사용하여 코드 생성을 수행하는 작업 등에 유용합니다.
• Custom Model Creation: 개발자들은 modelfile(예: llama2와 같은 베이스 모델 및 시스템 프롬프트 지정)을 정의함으로써 ollama.create를 사용하여 프로그래밍 방식으로 새로운 모델을 생성할 수 있습니다.
• Custom Clients: Client 클래스를 사용하면 개발자가 Ollama 서버를 위한 커스텀 호스트를 지정할 수 있어, host='my.ollama.host'를 통해 원격 연결이 가능합니다.

생태계 및 커뮤니티 기여

Ollama는 메인 저장소와 이 새로운 라이브러리들을 새로운 GitHub 조직인 ollama로 이동했습니다.

이제 Python과 JavaScript에 대한 공식 지원이 제공되지만, 커뮤니티에서는 Dart, Swift, C#, Java, PHP, Rust를 포함한 다른 언어들을 위한 라이브러리들을 개발해 왔습니다. Ollama는 커뮤니티 구성원들이 이러한 라이브러리들에 기여하거나 새로운 라이브러리를 추가하기 위해 풀 리퀘스트를 제출하는 것을 권장합니다.