ashhart/TensorFold

解決する問題

TensorFold は、Apple Silicon および NVIDIA GPU 上で言語モデルを提供するための高性能でスタンドアロンな方法を提供し、Python や MLX のインストールを必要としません。チェックポイントの読み取り、トークナイゼーション、カーネル実行を直接処理するネイティブバイナリを提供することで、特定の認定モデルの展開を簡素化します。

仕組み

Zig で構築されたこのエンジンは、Metal または CUDA カーネルを直接実行してモデルの重みを実行します。チャット完了用の OpenAI 互換 API と Anthropic Messages をサポートしています。主な技術的特徴は次のとおりです。

• Living Weights: 実行中のモデルが新しい事実をチェックポイントファイルに直接書き込んで学習できる実験的機能で、学習した情報を再起動後も永続化します。
• Context Compaction: コンテキストウィンドウを超えるリクエストを拒否する代わりに、古い会話ターンを「メモリノート」に要約し、最近のターンはそのまま保持します。
• Exact Decoding: ドラフトされた応答がネイティブエンジンの参照出力と完全に一致することを保証します。
• Prompt Caching: 保持プレフィックス予算をサポートし、一般的なプロンプトプレフィックスの処理を高速化します。

対象ユーザー

macOS（M1-M5）または Linux（NVIDIA Ampere/Blackwell）上で、最小限の依存関係と高い効率で LLM をローカルに実行したい開発者およびユーザー。

ハイライト

• ゼロ Python 依存: ネイティブ Zig バイナリとしてモデルを提供します。
• Living Weights: 新しい事実をモデルの重みにリアルタイムで永続的に学習させることができます。
• uma 3D ビジュアライゼーション: 事実がニューロンとレイヤーにどのように統合されるかを監視する 3D ビューが含まれています。
• 幅広いハードウェアサポート: Apple Silicon（Metal）および NVIDIA GPU（CUDA）向けに最適化されています。
• コンテキスト管理: コンテキストオーバーフローを防ぐためのインテリジェントな圧縮。