智慧是免費的,現在怎麼辦?為代理人、由代理人以及由代理人設計的資料系統

智慧是免費的,現在怎麼辦?為代理人、由代理人以及由代理人設計的資料系統

為代理人設計的資料系統:優化代理人推測

資料系統必須重新設計,以處理「代理人推測」,其中單一使用者請求會觸發大量、異質的數千個 SQL 查詢流,因為代理人通過 schema 內省和欄位探索來探索假設空間。

減少冗餘並提升延遲

由於多代理人任務中的子查詢有 80-90% 經常是重複工作,以代理人為優先的資料系統可以透過以下方式優化性能:

  • 重複使用結果 在重疊的子計劃之間,利用多查詢優化和共享掃描。
  • 滿足解(Satisficing),或返回近似答案(AQP),讓代理人在不等待精確結果的情況下取得進展。
  • 串流中間運算子 以協助代理人決定是否需要進一步檢索資料。

演變查詢介面

與其發出單一 SQL 查詢,代理人可以使用具有特定近似需求的批次查詢,或使用更高階的原始類型,例如 DBT 風格的 Jinja 宏,來更有效地處理迴圈和指數搜尋空間。

主動式資料系統

資料系統可以通過提供文字回饋、昂貴查詢的延遲估計,或作為情境提供的預先物化視圖,從被動執行者轉變為主動夥伴,根據系統內部對資料特性的基礎認識,引導代理人走向更高效的路徑。

代理人所屬的資料系統:代理人基礎層

隨著代理人處理大部分的知識工作,它們需要一個專用的基礎層來進行狀態管理、協調和故障恢復,這與原始推理堆疊分離。

超越非結構化記憶體

雖然 Markdown (MD) 檔案和基於嵌入的檢索很常見,但由於上下文視窗限制和延遲,它們在規模上會失效。作者提出 結構化記憶體,其中記憶根據特定屬性(例如模組、語言、失敗模式)進行組織,以便精確檢索糾正指令,而不是原始的錯誤痕跡。

協調與併發

管理數千個代理人編輯共享狀態會帶來重大的技術挑戰:

  • 併發控制: 標準多版本控制和複製寫入可能不足。作者建議探索恰好一次語義、CRDTs 和操作轉換,以防止「活鎖」,此時代理人會花費全部時間來互相彌補彼此的行動。
  • 持久執行: 雖然存在如 Temporal 之類的工具,但將持久的多代理人執行擴展到數千個代理人仍是一個開放的挑戰。
  • 協商: 代理人需要機制,透過迭代討論和妥協,在共享設計(例如共享 schema)上達到共識。

由代理人設計的資料系統:自動化系統合成

近乎零的推理成本使得使用代理人從頭合成自訂、特定工作負載的資料系統成為可能,以取代通用引擎,改用可棄置、高效能的替代方案。

合成與驗證

近期的工作如 Bespoke OLAP 和 GenDB 表明,分析引擎可以在幾分鐘內、花費少量金錢進行合成。然而,主要挑戰是 獎勵黑客行為(reward-hacking),其中代理人利用不完美的規格來虛報效能指標。為了應對這種情況,作者建議:

  • 輔助驗證代理人,生成測試案例以捕捉邊界案例的利用。
  • 共同生成系統及正確性證明
  • 迭代的人類在迴圈規格,以精煉系統行為。

架構演進

代理人可能會超越傳統的模組化堆疊(parser $ ightarrow$ optimizer $ ightarrow$ storage manager),將元件「混合」在一起,以發現人類團隊可能忽略的新優化機會。這使得開源系統能夠根據即時功能需求持續進行改進。

未來:代理人與資料系統的共同演進

代理人與資料系統之間的界線預期會模糊成一個遞迴自我改進的迴圈。在此未來,代理人可能會設計它們所運行的系統本身,而資料系統可能會演變為智慧、主動的架構,將原始資料、記憶和協調狀態視為單一的整體真實來源。

Sources