Fractal-Compute-Orchestrations/FractalWorkspace

해결하는 문제

Fractal은 단일 기기에서 대규모 기계 학습 모델을 실행할 때의 계산 및 메모리 제한을 해결합니다. 조직이 Android 휴대폰 무리를 분산 컴퓨팅 클러스터로 사용하여 원시 사용자 데이터를 중앙 서버로 보내지 않고 모델 훈련과 추론을 수행할 수 있게 합니다. 또한 배터리 또는 온도 임계값을 초과하면 작업을 일시 중지하여 기기를 보호합니다.

작동 방식

두 가지 주요 부분이 있습니다: Python 기반 중앙 서버(FractalCore)와 Android 앱(FractalAndroid)입니다. 훈련의 경우 서버는 데이터 세트를 세그먼트로 분할하여 휴대폰에 배포합니다. 각 휴대폰은 TFLite를 사용하여 로컬 데이터에서 훈련하고 모델 가중치 업데이트만 다시 보냅니다. 서버는 이러한 업데이트를 평균화(FedAvg)하여 글로벌 모델을 개선합니다. 대규모 모델(예: Llama 3 8B)의 추론의 경우 서버는 모델을 150MB 이하의 파티션으로 분할합니다. 각 휴대폰은 파티션을 메모리 매핑하고 중간 활성화를 로컬 Wi-Fi 연결을 통해 다음 휴대폰으로 전달합니다. 엄격한 계약은 크기 제한을 강제하며 작업을 시작하기 전에 배터리 수준이 50% 이상, 충전 중, 온도가 40°C 미만이어야 합니다.

대상 사용자

사용자 개인 정보와 기기 상태 보호가 중요한 경우, 특히 활용도가 낮은 모바일 기기를 기계 학습 작업에 활용하려는 개발자와 조직을 대상으로 합니다. 또한 토큰 보상과 교환으로 컴퓨팅을 기여할 의향이 있는 Android 사용자에게도 적합합니다. 시스템에는 토큰 기반 보상 메커니즘이 포함되어 있기 때문입니다.

주요 특징

• 데이터 유입이 없는 연합 학습 – 원시 데이터 세트는 기기에서 절대 떠나지 않습니다.
• 여러 휴대폰에 걸친 대규모 모델 추론을 위한 파이프라인 병렬 처리.
• 하드웨어 인식 작동: 열 또는 배터리가 위험할 때 작업을 일시 중지합니다.
• 엄격한 계약으로 파티션과 네트워크 페이로드가 제한 내에 유지됩니다.
• 보안 기능에는 상태 없는 토큰 인증 및 재생 방지가 포함됩니다.