simonw/llm

해결하는 문제

LLM은 다양한 대규모 언어 모델(LLM)과 상호 작용할 수 있는 통합 명령줄 인터페이스(CLI) 및 Python 라이브러리를 제공합니다. 이를 통해 원격 모델(OpenAI, Claude, Gemini 등)과 로컬 모델(Ollama를 통해 실행되는 모델 등)을 위해 여러 개의 서로 다른 API나 별도의 도구를 사용할 필요가 없으며, 사용자는 프롬프트, 키 및 응답을 한 곳에서 관리할 수 있습니다.

작동 방식

이 도구는 다양한 LLM 제공업체의 래퍼(wrapper) 역할을 합니다. 사용자는 플러그인을 설치하여 다양한 모델에 대한 지원을 추가할 수 있고, 내장된 키 저장소를 통해 API 키를 관리하며, 터미널에서 직접 프롬프트를 실행할 수 있습니다. SQLite를 사용하여 프롬프트와 응답을 로깅하므로 상호 작용에 대한 영구적인 기록을 제공합니다. 또한 스키마를 사용한 구조화된 데이터 추출, 도구 실행, 임베딩(embeddings) 생성 및 저장과 같은 고급 기능도 지원합니다.

대상 사용자

터미널에서 여러 AI 모델과 상호 작용하려는 개발자, 데이터 과학자 및 파워 유저, 셸 스크립트를 통해 LLM 작업을 자동화하려는 사용자, 또는 보일러플레이트 API 코드 작성 없이 Python 애플리케이션에 LLM 기능을 통합하려는 사용자에게 적합합니다.

주요 특징

• 멀티 모델 지원: 플러그인을 통해 OpenAI, Anthropic, Google, Mistral 및 로컬 모델과 함께 작동합니다.
• llm chat: 연속적인 대화를 위한 대화형 채팅 모드.
• SQLite 로깅: 프롬프트와 응답을 자동으로 저장하여 나중에 검색할 수 있습니다.
• 구조화된 추출: 스키마를 사용하여 텍스트와 이미지에서 구조화된 콘텐츠를 추출합니다.
• 임베딩 지원: 유사성 검색을 위한 임베딩을 생성하고 저장하는 도구.
• 확장성: 플러그인 시스템을 통해 새로운 모델, 도구 및 템플릿 로더를 추가할 수 있습니다.