zhudotexe/kani

何を解決するか

Kani は、チャットベースの言語モデルアプリケーションの作成を簡素化する、軽量で意見のないフレームワークです。LangChain などの大規模なフレームワークに見られる「隠れたプロンプトのハック」や重い複雑さを避けつつ、さまざまなLLMプロバイダーとのインターフェースに関するボイラープレートを削除します。

動作方法

Kani は、OpenAI、Anthropic、Google、Hugging Face、llama.cpp、vLLM などの異なるバックエンドとのやり取りを抽象化するモデル非依存のインターフェースを提供します。チャット状態、トークン数のカウント、メモリ管理を自動で管理します。ツールの使用には、Pythonのデコレータ（@ai_function）を使用してローカル関数をモデルに公開し、誤ったパラメータの検証と再試行を処理します。

対象ユーザー

自然言語処理の研究者、趣味の開発者、プロンプトや制御フローに対して細かい制御を求める開発者向けに設計されています。オピニオンの強いフレームワークの冗長さから解放されます。

特徴

• モデル非依存: コード変更を最小限に抑え、さまざまなLLMバックエンドを簡単に切り替えられます。
• 関数呼び出し: Python関数をツールとして簡単に統合でき、組み込みのエラーフィードバックと再試行ロジックがあります。
• 非同期設計: 並列チャットセッションをサポートするように、根本から設計されています。
• マルチモーダル対応: 拡張機能を介して画像、音声、動画入力を統合的に処理します。
• CLIツール: ゼロセットアップのコマンドラインインターフェースで、迅速にLLMをテストできます。