dreadnode/rigging
Lightweight LLM Interaction Framework
What it solves
Rigging は、大規模言語モデル（LLM）をプロダクションコードに統合する作業をシンプルにします。異なるモデルプロバイダーの管理、構造化データの取り扱い、複雑なチャットパイプラインの構築に伴うボイラープレートを排除し、ソフトウェアで AI を利用するプロセスをより効率的かつ予測可能にします。
How it works
Rigging は LiteLLM、vLLM、transformers を活用した軽量フレームワークで、幅広いモデルに対して統一インターフェースを提供します。開発者は型ヒントと docstring を持つ Python 関数としてプロンプトを定義でき、Pydantic モデルで構造化出力のバリデーションを行います。モデル設定はデータベース接続文字列に似た connection strings で管理され、非同期バッチ処理により大規模生成をサポートします。
Who it’s for
プロンプト、ツール使用、モデル切り替えを柔軟かつ型安全に管理できる、プロダクション向けのライブラリを必要とする AI エージェントや LLM 駆動アプリケーションの開発者向けです。
Highlights
- Unified Model Access: Instant access to numerous models via LiteLLM, vLLM, and transformers.
- Structured Data: Seamlessly switch between unstructured text and Pydantic models for validated output.
- Prompt Engineering: Define prompts as Python functions with built-in type hints.
- Production Tooling: Integrated tracing with Logfire, async batching, and serialization support.
- Flexible Tool Use: Simple tool integration, even for models that do not natively support tool-calling APIs.