Ktx: 彌合 LLM Agent 與資料倉儲之間的差距

對於許多組織而言，「與您的數據對話」的夢想往往會撞上現實的牆壁。通用型 AI agent 雖然能夠編寫 SQL，但卻經常難以處理特定公司資料倉儲的細微差別。它們通常在每次提示時重新探索 schema，自行發明指標邏輯，並產生與公司官方報告衝突的數字。

傳統的語義層（semantic layers）試圖透過定義標準指標和 join 來解決此問題，但它們需要巨大的手動維護工作，且無法捕捉埋藏在 Notion 頁面、wiki 和團隊文件中的部落知識（tribal knowledge）。Ktx 作為一個自我改進的上下文層（context layer）出現，旨在彌合這一差距，透過綜合技術元數據（metadata）和業務知識，教導 agent 如何準確地查詢倉儲。

問題所在：業務邏輯的「幻覺」

當 agent 被要求提供「每月經常性收入 (MRR)」時，它本身並不知道應該 join 哪些表，或者應該應用哪些過濾器來排除內部測試帳戶。如果沒有結構化的上下文層，agent 有兩個選擇：根據欄位名稱進行猜測，或者每次都向用戶詢問定義。

傳統的語義層（例如 LookML 或 dbt MetricFlow）提供了「真相」，但它們通常是孤立的。業務邏輯可能存在於 dbt 專案中，而「流失客戶」的定義則存在於 Notion 文件中。Agent 通常無法同時導航這些不連通的來源。

Ktx 如何運作：多維度上下文層

Ktx 不僅僅是作為一個代理；它透過幾個自動化流程建立數據環境的全面地圖：

1. 自動化數據棧映射

與其要求人工來映射每個關係，Ktx 會對表進行採樣、捕捉 metadata 並分析使用模式以檢測可 join 的欄位。這減少了通常與設置語義層相關的手動開銷。

2. 知識攝取

Ktx 會攝取來自 wiki 和團隊知識庫的內容。它會組織這些資訊，移除重複項，並且——至關重要的是——標記矛盾之處供人工審查。這確保了如果 wiki 說了一件事，而 dbt 定義說了另一件事，該差異會被突出顯示而非被忽略。

3. 語義層綜合

透過 join graph 將原始表和高層級指標結合起來，Ktx 會自動解決常見的 SQL 陷阱，例如「chasm traps」和「fan traps」。這允許 agent 以宣告式的方式獲取指標，這意味著它們可以請求「Revenue」而無需為每個查詢重新編寫標準的 SQL join 邏輯。

4. 透過 MCP 進行 Agent 執行

Ktx 透過 CLI 和 Model Context Protocol (MCP) 暴露其知識。這允許 Claude Code、Cursor 或 OpenCode 等 agent 使用 Ktx 作作為工具，在 wiki 和語義層中同時進行全文檢索和語義搜索，以找到正確的數據路徑。

比較：通用 Agent vs. 傳統層 vs. Ktx

特性	通用型 Agent	傳統語義層	Ktx
倉儲上下文	手動/即時	手動	自動化
Join 檢測	啟發式/猜測	手動	自動化
指標定義	即時發明	已核准/可重複使用	已核准/可重複使用
知識吸收	無	無	Wiki/Notion 整合
矛盾標記	無	無	自動化
Agent 整合	部分	無	CLI + MCP

技術架構與安全性

在將 AI 引入資料倉儲時，主要擔憂之一是安全性。Ktx 透過「設計即唯讀」的哲學來解決此問題。它從不寫入資料庫，確保了倉儲的完整性。

此外，Ktx 在本地運行。它不會將 schema 或查詢結果發送到託管服務；唯一離開本地環境的數據是發送到配置的 LLM 提供商（例如 Anthropic 或 Google Vertex AI）的數據。

社群洞察：文件的 ROI

在 Hacker News 的討論中，用戶指出這種工具的價值主張隨著時間而改變。正如一位評論者 @lifeisstillgood 所觀察到的：

"Making such docs had next to no ROI 10 years ago. But today they are the difference between success and failure."

這突顯了數據工程中的一個根本轉變：文件不再僅僅是為了人類閱讀；它現在是 AI agent 與我們系統互動的主要介面。此外，討論中也提出了 token 管理的挑戰，並建議採用分層檢索（tiered retrieval）——先獲取高層級事實，僅在必要時才獲取全文——是保持 agent 有用且不增加 token 成本的最有效方式。

開始使用 Ktx

Ktx 適用於使用 PostgreSQL、Snowflake、BigQuery、ClickHouse、MySQL、SQL Server 或 SQLite 的團隊。它與現有的工具如 dbt、Looker 和 Metabase 整合。

要初始化一個專案，用戶可以運行：

npm install -g @kaelio/ktx
ktx setup
ktx status

這會創建一個本地專案目錄，其中包含 ktx.yaml 配置、一個用於 YAML 源的 semantic-layer/ 目錄，以及一個用於業務上下文的 wiki/ 文件夾，允許上下文層透過 Git 進行版本控制，同時保持機密資訊在本地。