thunderbolt:支援本地與前沿模型的跨平台 AI 客戶端(可於內部部署)
thunderbolt:支援本地與前沿模型的跨平台 AI 客戶端(可於內部部署)
它解決了什麼問題
Thunderbolt 的設計目的是消除供應商鎖定,讓使用者能完整掌控自己的 AI 體驗。它允許使用者自行選擇模型,並自行管理資料,提供一個可於內部部署的跨平台客戶端。
工作原理
它作為一個開源的 AI 客戶端,連接各種模型供應商。使用者可以透過 API 金鑰整合支援 OpenAI 介面的前沿模型,或使用 Ollama、llama.cpp 等本地推論引擎,實現免費、私密的本地推論。
目標對象
主要針對需要內部部署以確保資料隱私與安全的企業客戶,同時也適合希望在桌面與行動平台上自行託管 AI 介面的個人使用者。
重點特色
- 跨平台支援:可在 Web、iOS、Android、Mac、Linux 與 Windows 上運行。
- 內部部署:支援透過 Docker Compose 或 Kubernetes 進行自行託管。
- 模型彈性:相容前沿模型、本地模型與內部部署模型。
- 開源:採用 Mozilla Public License 2.0 授權。
摘要: 一個開源、跨平台的 AI 客戶端,讓使用者能自行託管 AI 介面,並連接本地或前沿模型供應商,以避免供應商鎖定。
標題: thunderbolt:支援本地與前沿模型的跨平台 AI 客戶端(可於內部部署)
Sources
- undefinedthunderbird/thunderbolt