Avdpro/ai2apps

解決的問題

AI2Apps提供了一個本地優先的平台，用於在個人AI節點上部署和管理AI應用程式、代理程式和服務。它透過添加使用者身分、持久代理執行和安全工具存取的管理層，彌合了原始模型執行環境與可用軟體之間的差距，讓使用者能夠在本地執行複雜的AI工作流程，同時保持資料隱私。

運作方式

該平台透過分層架構運作：

• 應用程式：處理使用者介面和持久狀態（例如，聊天、編碼器）。
• 代理程式：由伺服器端「Harness」管理，確保執行是持久的、可感知重新啟動的，並且能夠處理工具呼叫和使用者核准。
• 服務：為瀏覽器控制、文件解析和模型存取等功能提供穩定、版本化的身分，消除了固定URL的需求。
• 執行環境：可替換的後端（最初使用適用於Apple Silicon的oMLX），處理實際的模型推論。

它還包括一個專門用於大型混合專家（MoE）模型的「Flesh引擎」，透過專家優先的SSD儲存和自適應快取最佳化記憶體和I/O。

適用對象

• 建置本地AI應用程式和代理程式的開發人員。
• 希望在Apple Silicon Mac上執行大型MoE模型（如DeepSeek V4）並進行最佳化本地推論的使用者。
• 需要為本地AI節點提供安全、多使用者環境，並具有基於角色的存取控制和套件驗證的團隊。

亮點

• 持久代理執行：支援透過可重放事件暫停、恢復和復原代理執行。
• 本地優先基礎設施：將工作階段資料保留在本地，同時允許遠端存取和雲端模型橋接。
• 安全套件系統：使用簽章和內容尋址的套件來管理應用程式、代理程式和服務，並內建回滾和安全模式。
• MoE最佳化：實作進階路由和快取策略，以在有限的本地硬體上處理大規模模型。