Safetensors が PyTorch Foundation に参加

SUMMARY: Safetensors は、ベンダーニュートラルなガバナンスとコミュニティ主導の開発を確保するため、PyTorch Foundation および Linux Foundation の下で基盤ホスト型プロジェクトへ移行しました。

Safetensors が PyTorch Foundation に参加

Safetensors は、Linux Foundation の下で基盤ホスト型プロジェクトとして PyTorch Foundation に参加しました。この移行により、プロジェクトの商標、リポジトリ、ガバナンスがベンダーニュートラルな拠点へ移り、モデル重みストレージ形式の開発が単一企業ではなく、広範な機械学習コミュニティによって推進されることが保証されます。

Safetensors の技術アーキテクチャ

Safetensors は、モデルロード時の任意コード実行リスクを排除することで、pickle ベースのフォーマットに代わるシリアライズ形式です。このフォーマットは、以下の 2 つの主要コンポーネントからなるシンプルなアーキテクチャ上に構築されています。

• JSON Header: テンソルメタデータを記述する、最大 100 MB のハードリミットを持つメタデータセクション。
• Raw Tensor Data: ヘッダーの後に続く実際の重みデータで、ゼロコピーロード（ディスクからテンソルを直接マッピング）やレイジーロード（チェックポイント全体をデシリアライズせずに個々の重みを読み込む）を可能にします。

ガバナンスとコミュニティの移行

PyTorch Foundation に参加することで、Safetensors は Hugging Face プロジェクトからコミュニティ主導のプロジェクトへと移行します。Hugging Face のメンテナである Luc と Daniel は引き続き Technical Steering Committee に残り、日々の運営をリードしますが、プロジェクトは正式に Linux Foundation に属することになります。

貢献者にとって、メンテイナーになる道筋はリポジトリの GOVERNANCE.md と MAINTAINERS.md ファイルに正式に記載されています。この変化により、フォーマット上に構築する組織にとって安定した長期的な基盤が提供されます。

ユーザーと貢献者への影響

既存ユーザーに対する破壊的な変更はありません。フォーマット、API、そして Hugging Face Hub との統合は同一であり、現在 Safetensors 形式で保存されているすべてのモデルはこれまで通り機能し続けます。

今後のロードマップと統合

Safetensors は、ML エコシステム全体のパフォーマンスと互換性を向上させるため、いくつかの重要な技術的強化に取り組んでいます。

PyTorch コア統合

このプロジェクトは PyTorch チームと協力し、torch モデルのシリアライズシステムとして Safetensors を PyTorch コアに統合しています。

ハードウェアアクセラレーションと並列化

ロードマップには、デバイス認識のロードと保存の開発が含まれ、CUDA や ROCm などのアクセラレータへテンソルを直接ロードでき、CPU でのステージングを必要としません。また、Tensor Parallel および Pipeline Parallel のロード用のファーストクラス API が開発中で、各ランクまたはパイプラインステージが必要な重みだけをロードすることを保証します。

量子化サポート

Safetensors は、進化する量子化フォーマットへのサポートを正式化します。対象には以下が含まれます：

• FP8
• ブロック量子化フォーマット（GPTQ や AWQ など）
• サブバイト整数型