dreadnode/rigging
Lightweight LLM Interaction Framework
What it solves
Rigging 은 대규모 언어 모델(LLM)을 프로덕션 코드에 통합하는 작업을 단순화합니다. 다양한 모델 제공자를 관리하고, 구조화된 데이터를 처리하며, 복잡한 채팅 파이프라인을 구축하는 데 필요한 보일러플레이트 코드를 제거하여 소프트웨어에서 AI를 사용하는 과정을 보다 효율적이고 예측 가능하게 만듭니다.
How it works
Rigging 은 LiteLLM, vLLM, transformers 를 활용하는 경량 프레임워크로, 다양한 모델에 대해 통합 인터페이스를 제공합니다. 개발자는 타입 힌트와 docstring 을 포함한 Python 함수 형태로 프롬프트를 정의하고, Pydantic 모델을 사용해 구조화된 출력 검증을 수행합니다. 모델 설정은 데이터베이스 연결 문자열과 유사한 connection strings 로 관리되며, 비동기 배칭을 지원해 고규모 생성 작업을 처리합니다.
Who it’s for
프롬프트, 도구 사용 및 모델 전환을 유연하고 타입 안전하게 관리할 수 있는, 프로덕션 준비가 된 라이브러리를 필요로 하는 AI 에이전트 또는 LLM 기반 애플리케이션 개발자를 위한 것입니다.
Highlights
- Unified Model Access: Instant access to numerous models via LiteLLM, vLLM, and transformers.
- Structured Data: Seamlessly switch between unstructured text and Pydantic models for validated output.
- Prompt Engineering: Define prompts as Python functions with built-in type hints.
- Production Tooling: Integrated tracing with Logfire, async batching, and serialization support.
- Flexible Tool Use: Simple tool integration, even for models that do not natively support tool-calling APIs.