Emiyaaaaa/HiveMind

A Python-first runtime layer for multi-agent systems, with persistent run state, streaming execution events, and a pluggable orchestration interface.

Hivemind – 다중 에이전트 애플리케이션용 런타임 계층

무엇인가요 – Hivemind는 LLM 중심의 에이전트 프레임워크(LangGraph, AutoGen, CrewAI 등)와 외부 세계 사이에 위치하는 Python 우선의 프로덕션 수준 런타임입니다. 모든 실행 에 대해 지속 가능한 쿼리 가능한 상태를 제공하고, 실행 이벤트를 스트리밍하며, 하위 오케스트레이션 프레임워크를 변경하더라도 지속성 또는 API 코드를 다시 작성하지 않아도 됩니다.

왜 존재하는가 – 대부분의 오픈소스 에이전트 라이브러리는 프롬프트에서 도구로의 흐름 에 초점을 맞추고 있으며, 모든 것이 인프로세스에서 실행된다고 가정합니다. 에이전트를 서비스로 실행해야 할 때는 다음이 필요합니다:

  • 재시작 후에도 유지되는 데이터베이스
  • 디버깅 및 감사용 순서 있는 단계/메시지 로그
  • UI 또는 SDK용 실시간 이벤트 피드
  • 취소/재시도/재개 세미antics
  • 어떤 오케스트레이션 백엔드와도 작동할 수 있는 안정적인 API

Hivemind는 이러한 런타임 문제를 정확히 해결하면서도, 오케스트레이션 프레임워크 선택은 사용자에게 맡깁니다.


핵심 기능 (README에 설명됨)

기능 제공되는 기능
오케스트레이터 어댑터 플러그인 가능한 시스템. 기본 어댑터는 LangGraph를 감싸며, 간단한 Python 플러그인을 통해 AutoGen, CrewAI 또는 사용자 정의 프레임워크에 대한 어댑터를 추가할 수 있습니다.
지속적 실행 모델 데이터베이스 테이블(Run, Step, Message, ToolCall, Checkpoint)이 모든 실행의 전체 라이프사이클을 저장하여 관찰 가능하고 재실행 가능하게 만듭니다.
서버 전송 이벤트(SSE) 실행 상태 변경 사항이 SSE 엔드포인트를 통해 클라이언트로 전달되므로, 프론트엔드는 풀링 없이 진행 상황을 감시할 수 있습니다.
아웃바운드 웹훅 실행이 완료(성공, 실패, 취소, 또는 인간 입력 대기 중)되면 구성 가능한 웹훅이 호출되며, 선택적으로 HMAC 서명과 재시도 로직이 제공됩니다.
관리 콘솔 가벼운 Next.js UI로 실행 목록을 표시하고 단계별 세부 정보를 보여주며 실시간 SSE 스트림에 구독할 수 있습니다.
다중 언어 스택 Java 21 + Spring Boot 3 (HTTP/SSE API), Python 3.12 워커(asyncio, uv), PostgreSQL 16 (지속적 상태), Redis (작업 큐 및 실시간 이벤트), TypeScript/Next.js (콘솔).

아키텍처 개요

Next.js 콘솔  <--SSE/REST-->  Java Spring Boot API  <--Redis 작업/이벤트-->  Python 워커 (uv)  <--어댑터-->  LangGraph / Echo / …
                                            |
                                            ▼
                                      PostgreSQL (상태)
  • API 계층 (Java) – 버전화된 /v1/* REST API와 SSE 브리지 제공, API 키 또는 OIDC 토큰을 통한 RBAC 처리, Redis에 작업을 큐잉.
  • 워커 계층 (Python) – 작업을 소비하고 선택된 오케스트레이터 어댑터를 실행하며, 스텝/메시지 기록을 Postgres에 기록하고 Redis에 실시간 이벤트를 게시하여 API가 전달할 수 있도록 함.
  • 지속성 – SQLAlchemy 모델과 Alembic 마이그레이션을 통해 변경 불가능한 실행 이력 저장.
  • 이벤트 버스 – Redis 스트림/퍼블리시-서브스크라이브를 통해 작업, 취소, 실시간 업데이트에 대해 최소 한 번 전달 보장.
  • 콘솔 – React Query를 사용한 Next.js 15 앱으로 실행을 가져오고 SSE를 리스닝.

시작하기 (README의 빠른 시작 단계)

  1. 사전 요구 사항 – Docker, uv (Python 패키지 매니저), Node 20+, JDK 21, Maven 3.9.
  2. 인프라 구축 시작 – docker compose up -d postgres redis.
  3. DB 스키마 생성 – cd backend && uv sync && uv run alembic upgrade head.
  4. Python 워커 실행 – AGENTFLOW_WORKER_MODE=queue uv run python -m app.worker.
  5. Java API 실행 – cd backend-java && mvn spring-boot:run.
  6. 콘솔 실행 – cd frontend && npm install && npm run dev.
  7. http://localhost:3000 열기 – UI는 API에 연결하고, 워커에게 작업을 스케줄링합니다.

README에서는 curl 호출을 통해 에이전트를 생성하고 실행하는 방법, 그리고 curl -N …/events/<run_id>로 실시간 이벤트 스트림을 리스닝하는 방법도 보여줍니다.


일반적인 사용 사례

  • 프로덕션 수준 에이전트 서비스 – 프로토타입 LangGraph 또는 AutoGen 그래프를 감사 로그와 실시간 모니터링 기능을 갖춘 지속 가능한 마이크로서비스로 전환.
  • 다중 테넌트 SaaS 플랫폼 – API는 테넌트 스코프 RBAC를 지원하여 호스팅된 AI 에이전트 플랫폼에 적합합니다.
  • 가시성 및 디버깅 – 모든 단계/메시지/도구 호출이 지속되므로, 실행을 재실행하거나 대시보드를 구축하거나 컴플라이언스용 로그를 내보낼 수 있습니다.
  • 하이브리드 오케스트레이션 – 예를 들어 LangGraph로 LLM 흐름을 처리하고 Echo로 간단한 에코 봇을 처리하는 등, 다른 오케스트레이션 백엔드를 변경하더라도 클라이언트 API는 변경 없이 사용 가능.

라이선스

Apache 2.0 – 상업적 사용을 허용하는 유연한 오픈소스 라이선스.


결론 – Hivemind는 LLM 모델이나 새로운 에이전트 프레임워크가 아닙니다. 다중 에이전트 시스템을 프로덕션에서 신뢰할 수 있고, 관찰 가능하며, 운영하기 쉬운 런타임 입니다. 이미 Python 기반 에이전트 라이브러리를 사용하고 있으며, 지속성, 스트리밍, 안정적인 API가 필요하다면, Hivemind는 즉시 사용 가능한 연결 계층을 제공합니다.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트