eyelevelai/groundx-on-prem

A Kubernetes deployable instance of GroundX for document parsing, storage, and search.

GroundX On-Prem이란?

GroundX On-Prem은 인프라-as-코드 패키지이며, EyeLevel AI의 RAG(검색 증강 생성) 파이프라인을 자체 Kubernetes 클러스터 내에서 실행할 수 있게 해줍니다. 에어갭 환경이나 완전히 격리된 환경에서도 작동합니다. 세 가지 구성 요소를 번들링합니다:

GroundX Ingest – 복잡한 문서를 분석하고 텍스트, 레이아웃, 테이블 등을 추출하여 LLM을 위한 의미론적 객체와 벡터 임베딩을 생성하는 비전 모델(100만 페이지 이상의 엔터프라이즈 문서로 학습됨).
GroundX Store – 원본 파일, 추출된 객체 및 벡터 임베딩을 위한 암호화 저장소.
GroundX Search – 전통적인 텍스트 검색과 벡터 유사도, 그리고 파인튜닝된 리랭커 모델을 결합하여 높은 관련성의 결과를 반환하는 OpenSearch 기반 서비스.

이 저장소는 Helm 차트, values.yaml 템플릿, 그리고 선택적 Terraform 스크립트(AWS 전용)를 제공하여 필요한 Kubernetes 리소스(네임스페이스, PV 클래스, NVIDIA GPU Operator, Redis, MySQL, MinIO, OpenSearch, Kafka 등 지원 서비스)를 프로비저닝합니다. "외부 의존성 없음" 배포로 마케팅되며, 안전한 온프레미스 또는 프라이빗 클라우드 사용에 적합합니다.

주요 구성 요소

구성 요소	역할	배포 노트
Ingest Service	비전 기반 문서 이해(OCR, 레이아웃 감지, 테이블 추출)	GPU 지원 노드(`eyelevel‑gpu‑layout`)에서 실행. NVIDIA GPU Operator, CUDA 12+ 필요.
Store	안전한 객체 및 벡터 저장소	블롭에는 MinIO(또는 외부 S3), 벡터에는 OpenSearch 사용. 기존 클러스터에 배포하거나 연결 가능.
Search Service	리랭커를 포함한 텍스트 + 벡터 검색	OpenSearch 기반 노드(`eyelevel‑gpu‑ranker`)에 배포.
Redis	캐싱 및 메트릭	선택 사항 – 기존 Redis 클러스터를 사용하거나 Helm이 생성하도록 할 수 있음.
MySQL	메타데이터 영속화	Redis와 동일한 선택적 패턴.
Kafka / SQS	인제스트 파이프라인용 비동기 작업 큐	선택 사항; AWS SQS로 대체 가능.
NVIDIA GPU Operator	GPU 노드에 드라이버, 디바이스 플러그인, 런타임 설치	GPU 기반 Pod에 필수.

설치 개요

사전 요구 사항 – bash, kubectl(또는 oc), 그리고 Helm v3.8+. 충분한 CPU, RAM, 디스크 및 NVIDIA GPU(CUDA 12+)를 갖춘 Kubernetes 클러스터. |
노드 그룹 라벨링 – Pod는 nodeSelector/tolerations를 사용하여 스케줄링되며, eyelevel_node 라벨에는 eyelevel‑cpu‑only, eyelevel‑gpu‑layout 등의 값이 사용됩니다. 기본 values.yaml은 이러한 라벨을 정의하지만, 실제 노드에 적용해야 합니다. |
네임스페이스 및 PV 클래스 – 제공된 groundx-storageclass 차트를 사용하여 네임스페이스(기본값 eyelevel)와 PersistentVolume 클래스를 생성합니다. |
GPU Operator – NVIDIA GPU Operator(Helm 차트) 설치 – Azure 전용 값이 제공됩니다. |
지원 서비스 – 기존 Redis, MySQL, MinIO, OpenSearch, Kafka 클러스터에 배포하거나 연결합니다. |
GroundX 배포 – 노드 라벨, 리소스 제한, 외부 서비스 엔드포인트를 반영한 사용자 지정 values.yaml을 사용하여 GroundX Helm 차트(helm install groundx groundx/groundx ...)를 실행합니다. |
(선택) 오토스케일링 및 모니터링 – 차트의 플래그를 통해 Horizontal Pod Autoscaler, 커스텀 메트릭 서버, Prometheus 통합을 활성화합니다. |

작동 방식

인제스트 파이프라인: 문서는 업로드됩니다(SDK 또는 API를 통해). layout Pod(GPU)이 OCR과 레이아웃 감지를 실행하고, pre‑process Pod이 데이터를 정리하며, summary Pod이 간결한 임베딩을 생성합니다. 결과는 MinIO에 저장되고 OpenSearch에 인덱싱됩니다.
검색: 사용자가 Search API에 자연어 쿼리를 보냅니다. OpenSearch가 하이브리드 텍스트-벡터 조회를 수행한 후, ranker 모델(GPU)이 히트를 재정렬하여 관련성을 높입니다.
보안: 모든 데이터는 클러스터 내에 유지되며, 저장소는 암호화되고, 배포는 에어갭 네트워크에서 실행될 수 있습니다.

SDK 및 API

README에는 완성된 SDK(언어 비의존적)와 REST 엔드포인트가 언급되어 있지만, 자세한 내용은 없습니다. 배포 후 다음을 수행할 수 있습니다:

공개 API 엔드포인트를 가져오기(kubectl get svc 또는 Helm 출력을 통해).
제공된 클라이언트 라이브러리(아마도 Python/JS)를 사용하여 /ingest 및 /search 엔드포인트를 호출.

누가 이 제품을 사용할 수 있을까요?

법률, 의료, 금융 등 독점 문서에 대한 기밀 RAG가 필요하며 데이터를 퍼블릭 클라우드에 전송할 수 없는 엔터프라이즈.
기존 Kubernetes/GPU 인프라를 갖추고 턴키 RAG 스택을 원하는 조직.
핵심 서비스를 Helm을 통해 관리하면서 파이프라인을 확장(커스텀 모델, 추가 후처리)하려는 팀.

포함되지 않은 항목

실제 모델 바이너리는 저장소에 포함되어 있지 않으며, Helm 설치 중에 컨테이너 이미지로 가져옵니다.
호스팅 SaaS는 없습니다 – 저장소는 온프레미스 버전이며, 호스팅 버전은 eyelevel.ai에 존재합니다.
"Legacy Terraform Deployment" 섹션은 AWS 인프라용 이전 스크립트만 가리키며, 주요 경로는 기존 클러스터에서의 Helm입니다.

결론: GroundX On-Prem은 엔터프라이즈 수준의 검색 증강 생성(RAG)의 전체 스택(인제스트, 저장소, 검색)을 제공하는 진정한 프로덕션 등급 오픈소스 프로젝트이며, 상세한 리소스 계획 가이드와 함께 Kubernetes IaC로 제공됩니다.