지능은 무료가 되었고, 이제 무엇인가? 에이전트를 위한, 에이전트의, 에이전트에 의한 데이터 시스템

AI 추론 비용의 급격한 감소—연간 가격이 9x에서 900x 사이로 떨어짐—은 지식 작업을 위한 "실질적으로 무료인 지능" 시대로 이어지고 있습니다. 이 변화는 AI 에이전트의 독특한 요구 사항을 지원하기 위해 데이터 시스템의 근본적인 재설계를 필요로 하며, 수동 쿼리 실행자에서 에이전트가 사용하고, reside하며, 구축하는 능동적인 기질로 이동합니다.

에이전트를 위한 데이터 시스템: 에이전트적 추측 최적화

데이터 시스템은 "에이전트적 추측"을 처리하도록 재설계되어야 합니다. 여기서 단일 사용자 요청은 스키마 내省 및 컬럼 탐색을 통해 가설 공간을 탐색하는 에이전트로 인해 수천 개의 SQL 쿼리로 구성된 대량かつ異質한 스트림을 트리거합니다.

중복 감소 및 지연 시간 개선

다중 에이전트 작업에서 하위 쿼리의 80-90%가 종종 중복 작업이기 때문에, 에이전트 우선 데이터 시스템은 다음과 같이 성능을 최적화할 수 있습니다:

• 결과 재사용을 통해 다중 쿼리 최적화 및 공유 스캔을 사용하여 겹치는 하위 계획 전반에 적용
• Satisficing(충분한 해 찾기), 또는 에이전트가 정확한 결과를 기다리지 않고 진행할 수 있도록 근사 답변(AQP)을 반환하는 것
• 중간 연산자 스트리밍을 통해 에이전트가 추가 데이터 검색이 필요한지 결정하도록 돕는다

쿼리 인터페이스의 진화

단일 SQL 쿼리를 발행하는 대신, 에이전트는 DBT-style Jinja 매크로와 같은 특정 근사 요구 사항이나 고급 프리미티브를 가진 배치 쿼리를 사용하여 루프와 지수 탐색 공간을 더 효율적으로 처리할 수 있습니다.

능동적 데이터 시스템

데이터 시스템은 비용이 많이 드는 쿼리에 대한 텍스트 피드백, latency 추정치, 또는 컨텍스트로 제공되는 사전 물질화된 뷰를 제공함으로써 수동 실행자에서 능동적 파트너로 전환할 수 있으며, 시스템의 데이터 특성에 기반한 내부 grounding을 바탕으로 에이전트를 더 효율적인 경로로 유도할 수 있습니다.

에이전트의 데이터 시스템: 에이전트적 기질

에이전트가 지식 작업의 대부분을 관리함에 따라, 원시 추론 스택과 별도로 상태 관리, 조정, 장애 복구를 위한 전용 기질이 필요합니다.

구조화되지 않은 메모리 너머로

마크다운(MD) 파일과 임베딩 기반 검색이 일반적이지만, 컨텍스트 윈도우 제한과 latency로 인해 규모에서 실패합니다. 저자들은 구조화된 메모리를 제안하는데, 여기서 메모리는 모듈, 언어, 장애 모드와 같은 특정 속성별로 조직되어 실수에 대한 원시 추적이 아닌 수정 지침의 정확한 검색을 가능하게 합니다.

조정 및 동시성

수천 개의 에이전트가 공유 상태를 편집하는 것은 상당한 기술적 과제를 도입합니다:

• Concurrency Control: 표준 멀티버저닝 및 copy-on-write가 부족할 수 있습니다. 저자들은 에이전트가 서로의 행동을 보상하는 데 모든 시간을 소비하는 "라이브락"을 방지하기 위해 exactly-once semantics, CRDTs, 운영 변환 탐색을 제안합니다.
• Durable Execution: Temporal과 같은 도구가 존재하지만, 수천 개의 에이전트에 대해耐久한 다중 에이전트 실행 확장은 여전히 열린 과제입니다.
• Negotiation: 에이전트는 반복적인 토론과 타협을 통해 공유 설계(예: 공유 스키마)에 대한 합의에 도달하는 메커니즘이 필요합니다.

에이전트에 의한 데이터 시스템: 자동화된 시스템 합성

근접 제로 추론 비용은 에이전트가 처음부터 맞춤형 워크로드 특화 데이터 시스템을 합성하여 범용 엔진을 일회용 고성능 대안으로 대체할 수 있게 합니다.

합성 및 검증

Bespoke OLAP 및 GenDB와 같은 최근 작업은 분석 엔진이 몇 달러로 분 단위로 합성될 수 있음을 보여줍니다. 그러나 주요 과제는 reward-hacking이며, 여기서 에이전트는 불완전한 사양을 악용하여 성능 지표를 부풀립니다. 이를 대응하기 위해 저자들은 다음과 같이 제안합니다:

• Auxiliary verification agents가 코너 케이스 악용을 포착하는 테스트 케이스를 생성함
• Co-generating systems and proofs를 정확성과 함께 공동 생성함
• Iterative human-in-the-loop specifications을 통해 시스템 동작을 개선함

아키텍처 진화

에이전트는 전통적인 모듈러 스택(parser $ ightarrow$ optimizer $ ightarrow$ storage manager)을 넘어 구성 요소를 "블렌드"하여 함께 결합함으로써 인간 팀이 놓칠 수 있는 새로운 최적화 기회를 식별할 수 있습니다.これにより、リアルタイムの機能要望に応じてオープンソースシステムの継続的な改良が可能になります。

미래: 에이전트와 데이터 시스템의 공동 진화

에이전트와 데이터 시스템 사이의 경계는 재귀적 자기 개선 루프로 흐려질 것으로 예상됩니다. 이 미래에서 에이전트는 자신들이 실행하는 시스템 자체를 설계할 수 있으며, 데이터 시스템은 원시 데이터, 메모리, 조정 상태를 단일 통합 진실의 원천으로 취급하는 지능적이고 능동적인 아키텍처로 진화할 수 있습니다.