Avdpro/ai2apps

解决的问题

AI2Apps提供了一个本地优先的平台，用于在个人AI节点上部署和管理AI应用程序、代理和服务。它通过添加用户身份、持久代理执行和安全工具访问的管理层，弥合了原始模型运行时与可用软件之间的差距，使用户能够在本地运行复杂的AI工作流，同时保持数据隐私。

工作原理

该平台通过分层架构运行：

• 应用：处理用户界面和持久状态（例如，聊天、编码器）。
• 代理：由服务器端“Harness”管理，确保执行是持久的、可感知重启的，并且能够处理工具调用和用户批准。
• 服务：为浏览器控制、文档解析和模型访问等功能提供稳定、版本化的身份，消除了固定URL的需求。
• 运行时：可替换的后端（最初使用适用于Apple Silicon的oMLX），处理实际的模型推理。

它还包括一个专门用于大型混合专家（MoE）模型的“Flesh引擎”，通过专家优先的SSD存储和自适应缓存优化内存和I/O。

适用人群

• 构建本地AI应用程序和代理的开发人员。
• 希望在Apple Silicon Mac上运行大型MoE模型（如DeepSeek V4）并进行优化本地推理的用户。
• 需要为本地AI节点提供安全、多用户环境，并具有基于角色的访问控制和包验证的团队。

亮点

• 持久代理执行：支持通过可重放事件暂停、恢复和恢复代理运行。
• 本地优先基础设施：将会话数据保留在本地，同时允许远程访问和云模型桥接。
• 安全包系统：使用签名和内容寻址的包来管理应用、代理和服务，并内置回滚和安全模式。
• MoE优化：实现高级路由和缓存策略，以在有限的本地硬件上处理大规模模型。