Haidra-Org/AI-Horde

해결하는 문제

AI Horde는 커뮤니티 주도의 분산 추론 클러스터로, 사용자의 하드웨어 능력이나 재정적 여건과 관계없이 고급 AI 생성(텍스트 및 이미지)에 접근할 수 있도록 합니다. Stable Diffusion이나 Llama와 같은 대규모 AI 모델을 실행하기 위한 높은 컴퓨팅 비용과 하드웨어 요구 사항 문제를, 자원 봉사자들이 사용하지 않는 GPU 자원을 공유함으로써 해결합니다.

작동 방식

시스템은 AI 콘텐츠 요청을 하는 사용자와 컴퓨팅 자원을 제공하는 자원 봉사자 '워커'를 연결하는 미들웨어로 작동합니다. 사용자가 요청을 제출하면, 시스템은 해당 작업을 처리할 수 있는 사용 가능한 워커를 찾습니다. 공정성을 유지하고 기여를 장려하기 위해 '쿠도스(kudos)' 시스템을 사용합니다: 워커는 요청을 처리할 때 쿠도스를 얻으며, 더 많은 쿠도스를 가진 사용자는 생성 대기열에서 우선 순위가 높아집니다. 쿠도스는 구매하거나 거래할 수 없습니다.

대상 사용자

• 사용자: 강력한 GPU가 없어도 AI 아트나 텍스트를 생성하고 싶은 개인.
• 워커: 자신의 컴퓨팅 자원을 커뮤니티에 기여하고 싶은 GPU 보유자.
• 개발자: REST API를 통해 앱, 게임, 스크립트에 AI 생성 기능을 통합하고 싶은 사람.
• 기업: 사내에서 확장 가능한 ML-Ops 분산 추론 클러스터를 구축하고 싶은 조직.

주요 특징

• 커뮤니티 주도: 완전히 무료이며 커뮤니티가 운영되며, AI 기술에 대한 공정한 접근을 보장합니다.
• 다중 모달: 이미지 및 텍스트 생성을 모두 지원합니다.
• 확장성: 다양한 부하를 수용할 수 있도록 기업 수준의 ML-Ops 클러스터로 설계되었습니다.
• 공정한 우선순위: 기여자에게 보상을 주며, 익명 사용자에게는 무료로 서비스를 제공하는 쿠도스 기반 경제 시스템입니다.