zhongkaifu/TensorSharp

TensorSharp – .NETベースのローカルLLM推論エンジン

概要 – TensorSharpは、GGUF形式のLLMをローカルで実行するための.NET 10ライブラリです。コマンドラインツール、Ollama/OpenAI APIを模倣したWebサーバー、または任意の.NETアプリケーションに組み込んで使用できます。このエンジンには、純粋なC#によるCPUカーネルと、CUDA、Metal、Vulkan用のネイティブバックエンドが同梱されており、GPUの有無にかかわらずWindows、macOS、Linuxで動作します。

主な機能

• モデルサポート – 数十種類のテキスト、推論、マルチモーダルファミリー（Gemma 4、Qwen 3.x、DeepSeek V4、Mistral 3など）に加え、拡散モデルによるテキストから画像への生成、画像編集、動画・音声生成、埋め込みモデルをサポート。
• バックエンド – ggml_cpu (純粋なC#)、ggml_cpu ネイティブ、ggml_cuda、ggml_metal、ggml_vulkan。ハードウェアに合わせて選択可能です。
• サービング機能 – 連続バッチ処理 (continuous batching)、プレフィックス共有付きページングKVキャッシュ、推測デコード (speculative decoding)、テンソル並列処理 (tensor-parallelism)、ツール呼び出し/エージェントスキル。
• API – CLI (TensorSharp.Cli)、OllamaおよびOpenAI互換エンドポイントを公開するWeb UI/サーバー (TensorSharp.Server.Host)、およびファイル・シェル・ドキュメントツールワークフローを追加する TensorAgent デスクトップ/モバイルアプリ。
• パフォーマンス – llama.cpp とのベンチマーク比較において、RTX 3080 ノートPC用GPU上で、TensorSharpは複数のモデルでプリフィル (pre-fill) およびデコード速度が1.0〜1.3倍高速です。

はじめ方

1. OS用のビルド済みリリース（CPUまたはCUDAバージョン）をダウンロードします。
2. GGUFモデル（例：HuggingFaceのGemma 4 E4B）を入手します。
3. CLIを実行します：

   dotnet run --project TensorSharp.Cli -- --model models\gemma-4-E4B-it-Q8_0.gguf \
       --backend ggml_cuda --input prompt.txt --max-tokens 128
   

   （Apple Siliconでは ggml_metal、AMD/Intel GPUでは ggml_vulkan、CPUのみの場合は ggml_cpu を使用してください）。
4. サーバーを公開するには TensorSharp.Server.Host を実行します。0.0.0.0:5000 でリッスンし、ブラウザチャットUIとAPIエンドポイントを提供します。
5. 完全なデスクトップ体験を得るには、TensorAgent（macOSはDMG/PKG、WindowsはMSI/ZIP）をインストールします。アプリにはランタイムがバンドルされており、モデルのダウンロード、ファイルの添付、エージェントスキルの実行が可能です。

対象ユーザー – Python中心のスタックに依存せずにローカルでLLMを実行したい.NET開発者、およびCLI、Web-API、ネイティブデスクトップ/モバイルクライアント全体で動作する単一のエンジンを必要とするすべての方。

ドキュメントとリソース – リポジトリには詳細なドキュメントが含まれています：クイックスタートガイド、バックエンド選択表、モデルファミリーカード、機能の詳細解説（連続バッチ処理、推測デコード、エージェントスキル）、ベンチマーク表、およびコードを詳細に解説したAmazon出版の書籍2冊へのリンクを含む「ブックガイド」。

ライセンス – リポジトリ内の LICENSE ファイルを参照してください（標準的なオープンソース条項）。

---

上記のすべての情報はリポジトリのREADMEから直接引用したものであり、外部からの推測は一切含まれていません。