jasonacox/TinyLLM

Setup and run a local LLM and Chatbot using consumer grade hardware.

解決する課題

TinyLLMは、強力な大規模言語モデル(LLM)をコンシューマーグレードのハードウェア上でローカルに実行するという課題に対処します。高性能なAIモデルと標準的な家庭用コンピュータの間の架け橋となり、高価なエンタープライズインフラを必要とせずに、ユーザーがプライバシーと制御を維持できるようにします。

仕組み

このプロジェクトは、ローカルの推論エンジン(Ollama、vLLM、または llama-cpp-python など)とユーザーフレンドリーなWebインターフェースを接続するブリッジとして機能します。これらのエンジンはOpenAI互換のAPIを介してモデルを提供し、TinyLLMチャットボットがそれを利用します。このセットアップにより、ブラウザを通じてモデルと対話し、会話履歴を管理し、外部Webサイトの要約やニュース、株価などのリアルタイムデータの取得といったタスクを実行できます。

対象ユーザー

このプロジェクトは、コンシューマー向けハードウェア(NVIDIA GPUやApple Siliconなど)にアクセスでき、クラウドサービスに依存せずに独自のプライベートAIチャットボット環境をホストしたい開発者、研究者、または愛好家向けです。

ハイライト

  • Ollama、vLLM、llama-cpp-pythonを含む、複数の一般的な推論バックエンドをサポート。
  • マルチセッションのチャット履歴をサポートする、ChatGPTのようなWebインターフェースを提供。
  • 検索拡張生成(RAG)機能を有効にし、AIがPDF、外部URL、ベクトルデータベースを処理できるようにします。
  • 天気、株価、ニュースの見出しなど、リアルタイムデータ取得のための組み込みツールが含まれています。
  • llm CLIツールと互換性があり、ローカルモデルとのコマンドライン対話が可能です。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト