Avdpro/ai2apps
Setup AI2Apps at local system so you can use your own OpenAI key or make more back-end features.
解決する課題
AI2Appsは、パーソナルAIノード上でAIアプリケーション、エージェント、サービスを展開・管理するためのローカルファーストプラットフォームを提供します。ユーザーID、永続的なエージェント実行、安全なツールアクセスのための管理レイヤーを追加することで、生のモデルランタイムと実用的なソフトウェアの間のギャップを埋め、データプライバシーを維持しながら複雑なAIワークフローをローカルで実行できるようにします。
仕組み
このプラットフォームは階層型アーキテクチャで動作します:
- アプリ:ユーザーインターフェースと永続状態を処理します(例:チャット、コーダー)。
- エージェント:サーバーサイドの「ハーネス」によって管理され、実行が永続的で再起動に対応し、ツール呼び出しやユーザー承認を処理できることを保証します。
- サービス:ブラウザ制御、ドキュメント解析、モデルアクセスなどの機能に対して安定したバージョン管理されたIDを提供し、固定URLの必要性を排除します。
- ランタイム:実際のモデル推論を処理する交換可能なバックエンド(当初はApple Silicon用のoMLXを使用)。
また、大規模なMixture-of-Experts(MoE)モデル向けの専門的な「Fleshエンジン」も含まれており、エキスパート優先のSSDストレージと適応型キャッシュを通じてメモリとI/Oを最適化します。
対象ユーザー
- ローカルAIアプリケーションとエージェントを構築する開発者。
- Apple Silicon搭載Macで大規模なMoEモデル(DeepSeek V4など)を最適化されたローカル推論で実行したいユーザー。
- ロールベースのアクセス制御とパッケージ検証を備えた、ローカルAIノード向けの安全なマルチユーザー環境を必要とするチーム。
ハイライト
- 永続的なエージェント実行:リプレイ可能なイベントでエージェント実行の一時停止、再開、回復をサポート。
- ローカルファーストインフラストラクチャ:リモートアクセスとクラウドモデルブリッジングを可能にしながら、セッションデータをローカルに保持。
- 安全なパッケージシステム:アプリ、エージェント、サービス用に署名付きでコンテンツアドレス指定されたパッケージを使用し、組み込みのロールバックとセーフモードを備えています。
- MoE最適化:限られたローカルハードウェアで巨大なモデルを処理するための高度なルーティングとキャッシュ戦略を実装。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- Dispatch