Basekick-Labs/arc

해결하는 문제

Arc는 고처리량 텔레메트리 데이터를 위한 SQL 네이티브 시계열 데이터베이스입니다. 저장 비용으로 인해 오래된 데이터를 삭제하거나 다운샘플링해야 하는 '보존 경사' 문제를 해결하기 위해 오픈 소스 Parquet 스토리지 엔진을 사용합니다. 이로 인해 팀은 자체 인프라(로컬 디스크, S3, Azure, MinIO 등)에서 완전한 해상도의 이력 데이터를 보존할 수 있으며, 핫 데이터와 콜드 데이터 경로를 분리할 필요가 없습니다.

작동 방식

Arc는 인게스션 파이프라인, Parquet 스토리지 엔진, DuckDB 기반 SQL 쿼리 레이어를 통합한 단일 정적 링크 바이너리로 작동합니다. InfluxDB Line Protocol 및 MessagePack과 같은 여러 인게스션 프로토콜을 지원하며, 백그라운드 컴팩션 시스템을 통해 작은 Parquet 파일을 자동으로 더 큰 최적화된 파일로 병합하여 저장 공간을 줄이고 쿼리 속도를 높입니다. CTE, 윈도우 함수, 조인을 포함한 분석용 SQL 기능을 제공하며, 리텐션 정책과 지속적 쿼리를 통해 데이터 라이프사이클을 관리합니다.

대상 사용자

주로 항공우주 텔레메트리용으로 개발되었지만, 산업용 IoT, 제조업, 에너지, 플릿 텔레메트리, 일반적인 옵저버빌리티 등 기계가 지속적으로 데이터를 생성하는 환경이라면 어디서든 적합합니다.

주요 특징

• 고성능 인게스션: MessagePack Columnar를 사용해 1초당 3,400만 건 이상의 레코드를 인게스팅할 수 있습니다.
• 오픈 스토리지: 표준 Apache Parquet 파일 형식으로 데이터를 저장하여 벤더 종속성을 방지합니다.
• SQL 네이티브: 전용 쿼리 언어가 아닌 표준 분석용 SQL을 사용합니다.
• 의존성 없음: JVM, Python, 외부 클러스터 등 추가 의존성이 없이 단일 바이너리로 배포 가능합니다.
• 광범위한 호환성: InfluxDB Line Protocol 및 Telegraf와 호환되어 낮은 리스크로 마이그레이션 가능합니다.
• 엔터프라이즈 대응: 규제 환경용으로 옵션 FIPS 140-3 빌드를 제공하며, S3/Azure 스토리지 백엔드도 지원합니다.