algorithmicsuperintelligence/optillm

OptiLLM – OpenAI 互換の推論プロキシで LLM の推論を強化

機能 – OptiLLM は、コードと任意の OpenAI 互換 LLM（OpenAI、Anthropic、Google、Cerebras など）の間に位置します。チャット完了リクエストをインターセプトし、1 つ以上の最適化テクニック（best‑of‑N サンプリング、chain‑of‑thought プロンプティング、self‑consistency、Monte‑Carlo‑Tree‑Search、Mixture‑of‑Agents など）を実行して、最良の回答を返します。これはすべて推論時に行われます。モデルの重みは変更されず、ファインチューニングも不要です。

重要性 – 推論を多用するタスク（数学、コーディング、ロジック）は、複数の「思考」パスから恩恵を受けることがよくあります。これらのパスを自動化し、最も信頼性の高い出力を選択することで、OptiLLM は同じ基盤モデルを使用しながら、ベンチマークスイートで 2〜10 倍の精度向上を実現できます。推論時に十分な計算リソースがあれば、より安価なモデル（例：GPT‑4o‑mini）がより大きなモデル（GPT‑4）のパフォーマンスに匹敵するか、それを超えることができるという主張です。

コア機能（README に記載）

機能	説明
ドロップイン OpenAI プロキシ	`optillm` をローカルで実行し、クライアントの `base_url` を `http://localhost:8000/v1` に設定するだけで、既存の API 呼び出しをそのまま使用できます。
マルチプロバイダーサポート	LiteLLM を通じて、OpenAI、Anthropic、Google Gemini、Cerebras、Azure OpenAI などに呼び出しを転送できます。
20 以上の最適化テクニック	best‑of‑N、chain‑of‑thought with reflection、self‑consistency、Monte‑Carlo Tree Search、R* アルゴリズム、Z3 定理証明器、プランニング（CePO）、Mixture‑of‑Agents などが含まれます。
ゼロトレーニング	すべてのテクニックは推論時に適用されます。ベースモデルをファインチューニングする必要はありません。
プラグインアーキテクチャ	プラグインにより、メモリ、プライバシー（PII マスキング）、URL 取得、コード実行、構造化 JSON 出力、ウェブ検索、ルーティングなどの機能を追加できます。
SSL とセキュリティコントロール	SSL 検証の無効化（開発のみ）、カスタム CA 証明書の提供、URL 取得時の SSRF 対策などのオプションがあります。
Docker イメージ	フルイメージ、軽量プロキシ専用イメージ、モデルを事前ダウンロードしたオフラインイメージがあります。
本番環境対応のヒント	ログ、ヘルスチェックルーティング、およびデフォルトサーバーが安全のため localhost のみにバインドされるという注意事項があります。

使用方法

インストール – pip install optillm（または Docker イメージをプル）。
プロキシを起動 – API キーを設定（export OPENAI_API_KEY=…）し、optillm を実行します。サーバーは Starting server with approach: auto のような行を出力します。
コードから呼び出す – OpenAI クライアントをプロキシにポイントし、必要に応じてモデル名の前にテクニックスラッグを付けます。例：
```
client = OpenAI(base_url="http://localhost:8000/v1")
resp = client.chat.completions.create(
    model="moa-gpt-4o-mini",   # GPT‑4o‑mini に Mixture‑of‑Agents を適用
    messages=[{"role": "user", "content": "Solve: 2x+3=7"}]
)
```
extra_body={"optillm_approach": "bon|mcts"} でテクニックを指定するか、プロンプトに <optillm_approach> タグを埋め込むこともできます。

報告されているパフォーマンス

README には、いくつかのテクニックのベンチマーク向上が記載されています：

MARS を Gemini Flash Lite で使用：AIME 2025 で +30 ポイント（43.3 → 73.3）。
CePO を Llama‑3.3‑70B で使用：Math‑L5 で +18.6 ポイント。
AutoThink を DeepSeek‑R1‑1.5B で使用：GPQA‑Diamond で +9.34 ポイント。
MOA を GPT‑4o‑mini で使用：Arena‑Hard‑Auto スイートで GPT‑4 に匹敵。
PlanSearch を GPT‑4o‑mini で使用：LiveCodeBench で pass@5 が +20%。これらの数値は、リポジトリ内で「完全なベンチマーク結果」として提示されています（ここでは再現されていません）。

誰が恩恵を受けるか？

研究者 – 新しいモデルをトレーニングせずに高度な推論テクニックを試したい方。
プロダクトチーム – すでに OpenAI 互換プロバイダーを使用しており、推論を多用するエンドポイントの精度を迅速に向上させたい方。
開発者 – メモリ、プライバシー、ウェブ検索などの機能を追加できるプラグアンドプレイプロキシを探している方。

制限と考慮事項

計算コスト – best‑of‑N、MCTS、複数のプランニングパスなどのテクニックは API 呼び出しの回数を増やすため、リクエストごとのコストが高くなります。
レイテンシ – パスが多いほど応答時間が長くなります。このプロキシはバッチまたは非リアルタイムのワークロードに最適です。
セキュリティ – プロキシは外部 URL を取得できます。README は SSRF と DNS リバインディングのリスクを警告し、高セキュリティ環境ではネットワークレベルのエグレス制御を推奨しています。
外部 API への依存 – OptiLLM 自体はモデルをホストしません（オプションのオフラインイメージに spaCy が含まれる場合を除く）。基盤となるプロバイダーの稼働時間とレート制限に依存します。

クイックリファレンスサマリー

側面	詳細
パッケージ名	`optillm`（PyPI）
ライセンス	オープンソース（ライセンスファイルはバッジにリンク）
メインエントリポイント	`optillm` CLI が Flask サーバーを起動
サポートされるプロバイダー	OpenAI、Anthropic、Google Gemini、Cerebras、Azure OpenAI、LiteLLM 互換の任意のモデル
主要テクニック	Best‑of‑N、Chain‑of‑Thought、Self‑Consistency、MCTS、Mixture‑of‑Agents、CePO、R*、Z3 など
プラグイン	メモリ、プライバシー、URL 取得、コード実行、JSON スキーマ、ウェブ検索、ルーティングなど
インストール	`pip install optillm` または Docker（`ghcr.io/algorithmicsuperintelligence/optillm:latest`）
典型的なユースケース	再トレーニングなしで既存の LLM API の推論精度を向上

上記の情報はすべてリポジトリの README から直接取得したものであり、外部の主張は追加されていません。