eyelevelai/groundx-on-prem

A Kubernetes deployable instance of GroundX for document parsing, storage, and search.

什麼是 GroundX On-Prem？

GroundX On-Prem 是一個基礎設施即代碼（Infrastructure-as-Code）套件，讓您在自己的 Kubernetes 叢集中執行 EyeLevel AI 的 RAG（檢索增強生成）管線——即使在氣隙、完全隔離的環境中也是如此。它捆綁了三個部分：

GroundX Ingest – 一個視覺模型（在超過 100 萬頁企業文件上訓練），用於解析複雜文件，提取文字、版面、表格等，並建立供 LLM 使用的語義物件和向量嵌入。
GroundX Store – 用於原始檔案、提取的物件和向量嵌入的加密儲存。
GroundX Search – 基於 OpenSearch 的服務，結合傳統文字搜尋、向量相似性和經過微調的重排序模型，以返回高度相關的結果。

該儲存庫提供 Helm 圖表、values.yaml 範本以及可選的 Terraform 腳本（僅限 AWS），用於配置所需的 Kubernetes 資源（命名空間、PV 類別、NVIDIA GPU Operator，以及 Redis、MySQL、MinIO、OpenSearch、Kafka 等支援服務）。它被宣傳為「無外部依賴」的部署，適用於安全的本地或私有雲使用。

關鍵元件

元件	角色	部署說明
Ingest Service	基於視覺的文件理解（OCR、版面偵測、表格提取）	在啟用 GPU 的節點上執行（`eyelevel‑gpu‑layout`）。需要 NVIDIA GPU Operator 和 CUDA 12+。
Store	安全的物件和向量儲存	使用 MinIO（或外部 S3）儲存 Blob，使用 OpenSearch 儲存向量；兩者都可以部署或指向現有叢集。
Search Service	帶有重排序器的文字 + 向量檢索	部署在基於 OpenSearch 的節點上（`eyelevel‑gpu‑ranker`）。
Redis	快取和指標	可選 – 可以使用現有的 Redis 叢集或讓 Helm 建立一個。
MySQL	中繼資料持久化	與 Redis 相同的可選模式。
Kafka / SQS	攝取管線的異步工作佇列	可選；可以替換為 AWS SQS。
NVIDIA GPU Operator	在 GPU 節點上安裝驅動程式、裝置外掛和執行時	任何基於 GPU 的 Pod 都需要。

安裝概述

先決條件 – bash、kubectl（或 oc）以及 Helm v3.8+。具有足夠 CPU、RAM、磁碟和 NVIDIA GPU（CUDA 12+）的 Kubernetes 叢集。 |
節點群組標籤 – Pod 透過 nodeSelector/tolerations 進行排程，使用 eyelevel_node 標籤，值如 eyelevel‑cpu‑only、eyelevel‑gpu‑layout 等。預設的 values.yaml 定義了這些標籤；您必須將它們應用到實際節點。 |
命名空間和 PV 類別 – 透過提供的 groundx-storageclass 圖表建立命名空間（預設 eyelevel）和 PersistentVolume 類別。 |
GPU Operator – 安裝 NVIDIA 的 GPU Operator（Helm 圖表）– 提供了可選的 Azure 特定值。 |
支援服務 – 部署或指向現有的 Redis、MySQL、MinIO、OpenSearch 和 Kafka 叢集。 |
部署 GroundX – 使用自訂的 values.yaml（反映您的節點標籤、資源限制和任何外部服務端點）執行 GroundX Helm 圖表（helm install groundx groundx/groundx ...）。 |
（可選）自動擴縮容和監控 – 透過圖表的旗標啟用 Horizontal Pod Autoscaler、自訂指標伺服器 и Prometheus 整合。 |

運作原理

攝取管線：文件透過 SDK 或 API 上傳。layout Pod（GPU）執行 OCR 和版面偵測，pre‑process Pod 清理資料，summary Pod 生成簡潔的嵌入。結果儲存在 MinIO 中，並在 OpenSearch 中建立索引。
搜尋：使用者向 Search API 發送自然語言查詢。OpenSearch 執行混合文字-向量查找，然後 ranker 模型（GPU）重新排序命中項以提高相關性。
安全性：所有資料都保留在叢集內部；儲存是加密的，並且部署可以在氣隙網路中執行。

SDK 和 API

README 提到了現成的 SDK（語言無關）和 REST 端點，但沒有詳細說明。部署後，您可以：

取得公共 API 端點（透過 kubectl get svc 或 Helm 輸出）。
使用提供的客戶端函式庫（可能是 Python/JS）呼叫 /ingest 和 /search 端點。

誰可能會使用這個？

需要在專有文件（法律、醫療、金融）上進行機密 RAG 的企業，且無法將資料傳送到公共雲。
擁有現有 Kubernetes/GPU 基礎設施並希望獲得交鑰匙 RAG 堆疊的組織。
希望擴展管線（自訂模型、額外後處理）同時透過 Helm 管理核心服務的團隊。

未包含的內容

實際的模型二進位檔案不在儲存庫中；它們在 Helm 安裝期間作為容器映像拉取。
沒有託管 SaaS – 儲存庫是本地版本；託管版本存在於 eyelevel.ai。
「Legacy Terraform Deployment」部分僅指向用於 AWS 基礎設施的舊腳本；主要路徑是在現有叢集上使用 Helm。

結論：GroundX On-Prem 是一個真正的生產級開源專案，提供企業級檢索增強生成（RAG）的完整堆疊（攝取、儲存、搜尋），以 Kubernetes IaC 形式交付，並附有詳細的資源規劃指導。