oobabooga/textgen

何を解決するか

TextGen は、ユーザーが自らのハードウェア上で大規模言語モデル（LLM）をローカルに実行できるデスクトップアプリケーションです。これにより、100%のプライバシーとテレメトリのゼロを確保します。モデルとの対話に向けた包括的なインターフェースを提供し、ローカル推論エンジンの設定やモデルファイルの管理の複雑さを解消します。

動作方法

アプリは複数のバックエンドを統合し、さまざまなモデル形式とハードウェアアクセラレーション（CUDA、Vulkan、ROCm、CPU）をサポートしています。GGUF（llama.cpp経由）、Transformers、ExLlamaV3、TensorRT-LLM をサポートしています。ユーザーはモデルファイルをダウンロードし、アプリが自動検出できる指定フォルダに配置するだけでOKです。

対象ユーザー

プライバシーを重視するユーザー、AI愛好家、クラウドAPIに依存せずにLLMをローカルで実行したい開発者、またローカルでのファインチューニング（LoRA）や画像生成を希望するユーザー。

主な特徴

• マルチモーダル機能: 視覚理解用のビジョンモデルと、PDF、.docx、テキストファイルなどの添付ファイルをサポートするドキュメントベースのチャットを実現。
• 柔軟なインターフェース: ChatGPT風の instruct モード、カスタムキャラクター用の chat モード、自由な生成用のノートブックを備えています。
• ローカルAPI: OpenAI/Anthropic互換のAPIを提供し、ローカルでの即時置き換えが可能。
• ツールコール: モデルがカスタムPython関数（Web検索、数学計算など）を実行でき、MCPサーバーもサポート。
• LORAトレーニング: チャットまたはテキストデータセット上でLoRAのファインチューニングを内蔵サポート。
• 画像生成: diffusersモデル専用のタブを備え、量子化と永続的なギャラリーを提供。
• プライバシー: 外部リソースへのリクエストなしに完全オフラインで動作。