Fractal-Compute-Orchestrations/FractalWorkspace

解決する課題

Fractal は、単一のデバイスで大規模な機械学習モデルを実行する際の計算およびメモリの制限に対処します。組織が Android スマートフォンのフリートを分散コンピューティングクラスタとして使用し、生のユーザーデータを中央サーバーに送信せずにモデルのトレーニングと推論を実行できるようにします。また、バッテリーまたは温度のしきい値を超えた場合に作業を一時停止することで、デバイスを保護します。

仕組み

2 つの主要部分があります：Python ベースの中央サーバー（FractalCore）と Android アプリ（FractalAndroid）です。トレーニングでは、サーバーがデータセットをセグメントに分割し、スマートフォンにディスパッチします。各スマートフォンは TFLite を使用してローカルデータでトレーニングし、モデルの重み更新のみを送り返します。サーバーはこれらの更新を平均化（FedAvg）してグローバルモデルを改善します。大規模モデル（例：Llama 3 8B）の推論では、サーバーはモデルを 150MB 以下のパーティションにスライスします。各スマートフォンはパーティションをメモリマップし、中間アクティベーションをローカル Wi-Fi 接続を介して次のスマートフォンに渡します。厳格な契約によりサイズ制限が強制され、作業を開始する前にバッテリーレベルが 50% 以上、充電中、温度が 40°C 未満であることが要求されます。

対象ユーザー

未活用のモバイルデバイスを機械学習タスクに活用したい開発者や組織、特にユーザーのプライバシーとデバイスの健全性の保護が重要な場合に適しています。また、トークン報酬と引き換えにコンピューティングを提供することをいとわない Android ユーザーにも適しています。システムにはトークンベースの報酬メカニズムが含まれているためです。

ハイライト

• データ流入ゼロのフェデレーテッドラーニング – 生のデータセットはデバイスから決して離れません。
• 複数のスマートフォンにわたる大規模モデル推論のためのパイプライン並列処理。
• ハードウェア認識操作：熱またはバッテリーがリスクにあるときに作業を一時停止します。
• 厳格な契約により、パーティションとネットワークペイロードが制限内に保たれます。
• セキュリティ機能には、ステートレストークン認証とリプレイ保護が含まれます。