jasonacox/TinyLLM
Setup and run a local LLM and Chatbot using consumer grade hardware.
解決する課題
TinyLLMは、強力な大規模言語モデル(LLM)をコンシューマーグレードのハードウェア上でローカルに実行するという課題に対処します。高性能なAIモデルと標準的な家庭用コンピュータの間の架け橋となり、高価なエンタープライズインフラを必要とせずに、ユーザーがプライバシーと制御を維持できるようにします。
仕組み
このプロジェクトは、ローカルの推論エンジン(Ollama、vLLM、または llama-cpp-python など)とユーザーフレンドリーなWebインターフェースを接続するブリッジとして機能します。これらのエンジンはOpenAI互換のAPIを介してモデルを提供し、TinyLLMチャットボットがそれを利用します。このセットアップにより、ブラウザを通じてモデルと対話し、会話履歴を管理し、外部Webサイトの要約やニュース、株価などのリアルタイムデータの取得といったタスクを実行できます。
対象ユーザー
このプロジェクトは、コンシューマー向けハードウェア(NVIDIA GPUやApple Siliconなど)にアクセスでき、クラウドサービスに依存せずに独自のプライベートAIチャットボット環境をホストしたい開発者、研究者、または愛好家向けです。
ハイライト
- Ollama、vLLM、llama-cpp-pythonを含む、複数の一般的な推論バックエンドをサポート。
- マルチセッションのチャット履歴をサポートする、ChatGPTのようなWebインターフェースを提供。
- 検索拡張生成(RAG)機能を有効にし、AIがPDF、外部URL、ベクトルデータベースを処理できるようにします。
- 天気、株価、ニュースの見出しなど、リアルタイムデータ取得のための組み込みツールが含まれています。
llmCLIツールと互換性があり、ローカルモデルとのコマンドライン対話が可能です。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト