Haidra-Org/AI-Horde

解決的問題

AI Horde 是一個由社群主導的分散式推論叢集，讓無論硬體能力或財務條件如何，每個人都能存取先進的AI生成（文字與影像）。它透過允許志工共享其閒置的GPU運算力，解決了運行 Stable Diffusion 或 Llama 等大型AI模型所需的高計算成本與硬體需求問題。

運作方式

此系統作為中介軟體，連結提出AI內容請求的使用者與提供運算資源的志工「工作者」。當使用者提交請求時，系統會尋找有能力處理該任務的可用工作者。為維持公平並鼓勵貢獻，系統採用「kudos」機制：工作者處理請求後獲得kudos，擁有更多kudos的使用者在生成佇列中享有更高優先權。kudos無法購買或交易。

適用對象

• 使用者：希望無需強大GPU即可生成AI藝術或文字的個人。
• 工作者：擁有GPU並希望為社群貢獻運算能力的人。
• 開發者：希望透過REST API將AI生成功能整合至應用程式、遊戲或腳本中的開發者。
• 企業：希望部署私有、可擴展的ML-Ops分散式推論叢集的組織。

核心亮點

• 社群驅動：完全免費且由社群運營，確保AI技術的公平存取。
• 多模態支援：同時支援影像與文字生成。
• 可擴展性：設計為可輕鬆擴展的企業級ML-Ops叢集，以適應不同工作負載。
• 公平優先權：基於kudos的經濟系統，獎勵貢獻者，同時對匿名使用者保持免費。