xorq-labs/xorq

해결하는 문제

Xorq는 AI 코딩 에이전트가 데이터 분석 과정에서 누적한 '기술적 부채'를 해결합니다. 에이전트가 일회성 파이썬 스크립트, 조각난 JSON 파일, 오래된 requirements를 생성하면, 그 결과물은 종종 재현 불가능하며 인간이나 다른 에이전트가 검증하거나 프로덕션 환경에 적용하기 어렵습니다. Xorq는 일시적인 메모와 취약한 스크립트를 대체하여 실행 가능하고 콘텐츠 주소 기반의 데이터 파이프라인 카탈로그를 제공합니다.

작동 방식

Xorq는 데이터프레임 표현식을 내구성 있고 재현 가능한 아티팩트로 변환합니다. Ibis로 구동되는 선언적 표현 시스템을 사용하여 DuckDB, Snowflake, pandas 등 여러 백엔드로 컴파일할 수 있습니다.

1. 정의: 사용자 또는 에이전트가 지연 평가 데이터프레임 표현식을 정의합니다.
2. 빌드: 표현식이 해시된 디렉터리로 빌드되며, 매니페스트(계산의 사양), 고정된 Python 환경(uv를 통해), 그리고 웨일 파일이 포함됩니다.
3. 카탈로그화: 이러한 빌드는 카탈로그에 추가되며, Git 리포지토리입니다. 이를 통해 해시 또는 인간이 읽을 수 있는 별칭으로 항목을 탐색하고, Git 히스토리로 추적하며, 다른 에이전트나 인간이 재사용할 수 있습니다.

대상 사용자

• AI 에이전트: Claude Code와 같은 코딩 에이전트로 데이터 작업의 실행 가능한 메모리를 저장하고 검색할 수 있는 방법이 필요한 경우.
• 데이터 엔지니어: 일시적인 에이전트 생성 파이프라인을 이식 가능하고 버전 관리 가능한 아티팩트로 전환하고자 하는 사람.
• 분석가: 다양한 컴퓨팅 엔진에서 실행 가능한 재현 가능한 데이터 변환을 필요로 하는 사용자.

주요 특징

• Git 네이티브 저장: 카탈로그는 Git 리포지토리이므로, 탐색이나 버전 관리에 중앙 서비스가 필요하지 않습니다.

• 콘텐츠 주소 기반 파이프라인: 모든 파이프라인은 콘텐츠 기반으로 재현 가능한 식별자를 갖습니다.

• 다중 엔진 지원: 동일한 표현식은 임베디드 엔진(DataFusion, DuckDB, SQLite) 또는 웨어하우스(Snowflake, Databricks, Trino)에서 실행 가능합니다.

• 에이전트 통합: Claude Code용 플러그인을 포함하여 카탈로그의 자동 생성과 탐색을 가능하게 합니다.

• Arrow 네이티브: 표현식 간 고성능 데이터 교환을 위해 Apache Arrow를 사용합니다.