ParisNeo/lollms-webui

解決的問題

LoLLMs WebUI 提供單一、整合的介面，用於存取大量大型語言模型（LLMs）與多模態AI系統。它消除了在不同平台之間切換的需要，將文字、影像、影片與音樂生成整合至一個本地中心，同時提供龐大的預設AI個性庫與針對特定專業或創意領域微調的模型。

如何運作

此系統作為前端，透過「綁定」連接至各種AI後端。支援本地模型（透過Hugging Face、GGUF/GGML與EXLLama v2）以及雲端服務（如OpenAI、Anthropic與Ollama）。它還具備「智慧路由」系統，能根據任務層級自動將提示導向不同模型，以在成本（對簡單任務使用較便宜的模型）或速度（對快速回應使用較小的模型）之間取得最佳平衡。

適用對象

專為希望擁有本地一體化AI工作台的個人使用者設計，適用於從程式設計、專業寫作到創意藝術（影像、影片與音樂生成）以及法律、醫學等專業領域的協助任務。

主要特色

• 多模態整合：支援文字生成、影像生成（Stable Diffusion、Flux、DALL-E）、影片生成（Luma Labs、RunwayML）與音樂生成（MusicGen）。
• 豐富的模型圖書館：可存取超過500個AI專家條件與2,500個微調模型。
• 彈性綁定：相容於多種本地與API型提供者，包括vLLM、OpenRouter與Groq。
• 智慧路由：根據任務複雜度動態切換模型，平衡速度與成本。
• 本地儲存：將對話歷史儲存在本地資料庫中，確保隱私與組織性。