rafska/awesome-local-llm

解決する問題

自分のハードウェアで大規模言語モデル（LLM）を実行することは、利用可能なツール、エンジン、モデルの数が膨大なため、圧倒される可能性があります。このプロジェクトは、推論エンジンの選択から、コーディングやマルチモーダルインタラクションなどの特定のタスクに適したモデルの発見まで、ローカルAIのエコシステムをナビゲートするための集中型の厳選ディレクトリを提供します。

仕組み

このプロジェクトは、包括的な「awesome」リストとして機能します。リンクと簡単な説明の構造化されたリポジトリです。リソースを、推論プラットフォーム（モデル実行用）、推論エンジン（モデルを実行する基盤技術）、ユーザーインターフェース、特定のモデルコレクション、ハードウェア推奨事項などの論理グループに分類します。また、学習プロセスをサポートするためのチュートリアルとコミュニティリソースのセクションも含まれています。

対象読者

このリストは、プライバシー、コスト効率、またはカスタマイズのためにLLMをローカルで実行したい開発者、研究者、AI愛好家向けに設計されています。簡単な「オールインワン」アプリケーションを探している初心者にも、エージェントワークフロー向けの高性能サーバーエンジンや専門モデルを求めるパワーユーザーにも同様に役立ちます。

ハイライト

• 推論プラットフォーム： LM Studio、Ollama、Janなど、モデルをローカルで実行するためのユーザーフレンドリーなツールの厳選リスト。
• 推論エンジン： llama.cpp、vLLM、Apple Silicon、NVIDIA、AMD向けのハードウェア固有の最適化など、ローカルAIを支える技術的バックエンドへの深い洞察。
• モデルディレクトリ： 汎用、コーディング、ビジョン、オーディオタスク向けのモデルの分類リスト。Mistral、NVIDIA、Qwenなどの主要ラボからのコレクションを含みます。
• エージェントとツールエコシステム： ブラウザ自動化、メモリ管理、RAG（検索拡張生成）のフレームワークなど、AIエージェントを構築するためのリソース。
• 学習リソース： プロンプトエンジニアリング、コンテキスト管理、モデルのトレーニング/ファインチューニングをカバーするチュートリアルのコレクション。