arkflow-rs/arkflow

High performance Rust stream processing engine seamlessly integrates AI capabilities, providing powerful real-time data processing and intelligent analysis.

해결하는 문제

ArkFlow는 실시간 데이터 처리 및 지능형 분석을 처리하도록 설계된 고성능 스트림 처리 엔진입니다. 사용자가 스트리밍 데이터에 직접 변환, SQL 쿼리 및 머신러닝 추론을 적용할 수 있도록 하여 원시 데이터 스트림(Kafka 또는 MQTT와 같은 소스)과 실행 가능한 인사이트 사이의 간극을 메웁니다.

작동 방식

Rust와 Tokio 비동기 런타임으로 구축된 ArkFlow는 모듈형 파이프라인 아키텍처를 사용합니다. 사용자는 YAML 구성 파일에서 스트림을 정의하여 입력 소스, 처리 파이프라인(SQL 쿼리, JSON 변환 또는 Python 스크립트 포함 가능) 및 출력 대상을 지정합니다. 백프레셔를 처리하고 배치 처리를 위해 데이터를 그룹화하기 위해 다양한 윈도잉 메커니즘(Tumbling, Sliding 및 Session 윈도우)을 지원합니다.

대상 사용자

실시간 데이터 수집, 이상 탐지 및 복잡한 이벤트 처리를 위한 저지연 확장 가능 시스템이 필요한 개발자 및 데이터 엔지니어를 대상으로 합니다.

주요 특징

고성능: Rust를 활용하여 낮은 지연 시간과 높은 처리량을 제공합니다.
폭넓은 연결성: 다양한 입력(Kafka, MQTT, HTTP, Redis, Modbus 등) 및 출력을 지원합니다.
SQL 기반 처리: 표준 SQL 쿼리를 사용하여 데이터 필터링 및 집계를 허용합니다.
AI 통합: 스트리밍 데이터에 대한 실시간 추론을 위해 머신러닝 모델의 로드 및 실행을 가능하게 합니다.