arakoodev/EdgeChains

What it solves

EdgeChains は、ジェネレーティブ AI 開発を UI やライブラリ設計の問題ではなく、設定管理の課題として捉えます。異なる LLM が異なるプロンプト形式を要求する「プロンプト爆発」や、時間とともに LLM の挙動が変化する「プロンプトドリフト」に対処し、プロンプトをハードコーディングされたロジックではなく宣言的設定として管理できるようにします。

How it works

Honojs と Jsonnet（Google が開発した設定言語）上に構築されており、EdgeChains はプロンプトとチェーンのロジックをアプリケーションコードから分離します。プロンプトは Jsonnet ファイルに記述され、バージョン管理や diff が可能で、S3 や API 経由で外部ホスティングもできます。フレームワークは WebAssembly ランタイムを使用し、LLM チェーンや chain‑of‑thought タスクを CPU、GPU、TPU に自動で並列化します。

Who it’s for

スケーラブルでフォールトトレラントな方法で、複数の LLM プロバイダーにまたがる複雑なプロンプトエンジニアリングや chain‑of‑thought ワークフローを管理したい、プロダクション向け GenAI アプリケーションを構築する開発者向けです。

Highlights

• Declarative Prompting: プロンプトはコード外の Jsonnet ファイルに置かれ、バージョン管理やテストが容易です。
• Automatic Parallelism: WebAssembly を活用し、利用可能なハードウェア（CPU、GPU、TPU）にタスクを分散します。
• Fault Tolerance: 失敗したリクエストに対するリトライとバックオフ機構が組み込まれています。
• Cost Tracking: プロンプトとチェーンのトークンコストを細かく測定します。
• Simplified Deployment: 本番アプリは 1 つのスクリプトファイルと 1 つの Jsonnet ファイルだけで実行できます。