Fractal-Compute-Orchestrations/FractalWorkspace

解决的问题

Fractal 解决了在单个设备上运行大型机器学习模型时的计算和内存限制。它允许组织将一批 Android 手机用作分布式计算集群，执行模型训练和推理，而无需将原始用户数据发送到中央服务器。它还在电池或温度超过阈值时暂停工作，从而保护设备。

工作原理

它有两个主要部分：基于 Python 的中央服务器（FractalCore）和 Android 应用（FractalAndroid）。对于训练，服务器将数据集分割成片段并分发给手机。每部手机使用 TFLite 在本地数据上进行训练，并仅发送回模型权重更新。服务器对这些更新进行平均（FedAvg）以改进全局模型。对于大型模型（例如 Llama 3 8B）的推理，服务器将模型分割成不超过 150MB 的分区。每部手机内存映射其分区，并通过本地 Wi-Fi 连接将中间激活传递给下一部手机。严格契约强制大小限制，并要求在开始任何工作之前电池电量高于 50%、正在充电且温度低于 40°C。

适用人群

适用于希望利用未充分利用的移动设备进行机器学习任务的开发者和组织，尤其是在保护用户隐私和设备健康至关重要的场景。也适用于愿意贡献计算以换取代币奖励的 Android 用户，因为系统包含基于代币的奖励机制。

亮点

• 零数据流入的联邦学习——原始数据集永远不会离开设备。
• 跨多部手机的流水线并行，用于大型模型推理。
• 硬件感知操作：当热或电池处于风险时暂停工作。
• 严格契约确保分区和网络负载保持在限制内。
• 安全功能包括无状态令牌认证和重放保护。