zmedelis/bosquet
Tooling to build LLM applications: prompt templating and composition, agents, LLM memory, and other instruments for builders of AI applications.
What it solves
Bosquet은 프롬프트 템플릿, LLM 컨텍스트 윈도우, 외부 도구 및 API와의 에이전트 상호작용을 관리하기 위한 구조화된 프레임워크를 제공하여 복잡한 AI 애플리케이션 개발을 단순화합니다.
How it works
Bosquet은 LLMOps 레이어로서 여러 핵심 구성 요소를 통합합니다:
- Prompt Management: Selmer 템플릿 라이브러리를 사용해 동적 프롬프트 생성을 처리합니다.
- Execution Graph: Pathom 그래프 처리 엔진을 활용해 프롬프트 체이닝 및 조합을 가능하게 합니다.
- Agentic Tools: LLM(OpenAI 및 Ollama 등)이 외부 데이터에 접근하거나 계산을 수행할 수 있도록 도구를 정의하는 추상화를 제공합니다.
- Service Management: LLM 서비스 구성, API 키 및 응답 캐시를 관리하여 성능과 비용을 최적화합니다.
- Memory Handling: 제한된 컨텍스트 윈도우를 우회하기 위해 LLM 메모리를 관리합니다.
Who it’s for
복잡한 프롬프트 워크플로를 조직하고 외부 도구를 통합하며 LLM 상호작용의 수명 주기를 관리해야 하는 비범한 AI 애플리케이션을 구축하는 개발자를 위한 것입니다.
Highlights
- Prompt Chaining: 하나의 프롬프트 출력이 다음 프롬프트 입력으로 사용되는 다중 프롬프트를 구성할 수 있습니다.
- Tool Integration: OpenAI 및 Ollama 모델용 도구 정의와 실행을 기본 지원합니다.
- Flexible Templating: 고급 프롬프트 템플릿을 위해 Selmer와 통합됩니다.
- CLI Support: 프롬프트 테스트와 LLM 설정 관리를 위한 명령줄 인터페이스를 포함합니다.