SciSharp/LLamaSharp

何を解決するか

LLamaSharp は、手動で C++ コードをコンパイルする必要なく、デバイス上で LLaMA などの大規模言語モデル（LLM）をローカルで実行する方法を提供します。高レベルの API と Retrieval-Augmented Generation（RAG）のサポートにより、LLM のアプリケーションへの導入を簡素化します。

動作方法

これは llama.cpp を基盤とする C# ライブラリであり、CPU および GPU での効率的な推論を可能にします。モデル実行の重い処理を処理するために、Windows、Linux、Mac 用のネイティブ「バックエンド」（事前にコンパイルされたライブラリ）を使用しています。このライブラリは、PyTorch や Huggingface 形式のモデルを量子化した GGUF モデル形式をサポートしており、メモリ使用量を削減します。

対象ユーザー

.NET アプリケーションにローカル LLM を統合したい開発者、特にデスクトップアプリ（WPF）、Web アプリ（ASP.NET、Blazor）、ゲームエンジン（Unity）を開発している人。

特徴

• クロスプラットフォーム対応：Windows、Linux、Mac で動作します。
• ハードウェアアクセラレーション：CPU、CUDA、Metal、Vulkan バックエンドをサポートし、GPU オフロードに対応します。
• RAG サポート：Retrieval-Augmented Generation の組み込み機能を備えています。
• マルチモーダル対応：LLaVA などのマルチモーダルモデルをサポートします。
• 広範なモデル互換性：Llama 3.1、Gemma、DeepSeek R1 など、GGUF 形式で利用可能な多数のモデルと互換性があります。