insitro/redun

Yet another redundant workflow engine

redun은 Python을 위한 _중복 워크플로우 엔진_입니다. 데이터 처리 파이프라인을 일반 Python 코드로 정의할 수 있으며, 그런 다음 해당 파이프라인을 자동으로 스케줄링합니다——단계를 자동으로 병렬 실행하고, 변경되지 않은 단계를 건너뛰며, 각 결과가 어떻게 생성되었는지에 대한 전체 기록을 저장합니다.

관련

  • 프로젝트
    magda-io/magda

    Magda는 조직이 모든 데이터를 발견, 강화, 검색, 추적 및 우선순위를 지정할 수 있는 단일 장소를 제공하는 데이터 카탈로그 시스템입니다. 데이터가 내부, 외부, 파일, 데이터베이스 또는 API에 저장되어 있든 관계없이 작동합니다. 페더레이션을 사용하여 여러 소스의 메타데이터를 하나의 검색 가능한 보기로 결합합니다.

  • 프로젝트
    lightonai/next-plaid

    NextPlaid는 REST API를 갖춘 로컬 우선 다중 벡터 검색 데이터베이스입니다. ColGREP는 그 위에 구축된 의미론적 코드 검색 도구로, 단일 Rust 바이너리로 코드베이스를 로컬에서 인덱싱하고 자연어 쿼리(선택적으로 소형 임베디드 에이전트 모델 사용)에 응답하며, 정규식 필터링과 의미론적 순위를 결합합니다. NextPlaid는 양자화, 메모리 매핑 인덱스, 증분 업데이트, SQL 메타데이터 사전 필터링을 통해 다중 벡터 임베딩(문서당 수백 개)의 저장 비용을 해결하며, 모두 CPU 친화적입니다. 두 도구 모두 Apache-2.0 라이선스이며, ONNX로 내보낸 ColBERT 모델을 사용하고 모든 데이터를 사용자 머신에 보관합니다.

  • 프로젝트
    OvidijusParsiunas/myvision

    자동 바운딩 박스 생성 및 데이터셋 형식 변환을 지원하여 컴퓨터 비전 ML 학습 데이터를 생성할 수 있는 무료 온라인 이미지 어노테이션 도구입니다.

  • 프로젝트
    apache/datafusion-python

    DataFusion Python은 Apache DataFusion의 고성능 Rust 기반 SQL 및 DataFrame 쿼리 엔진을 Python에 노출하는 브리지로, 개발자가 CSV/Parquet/JSON 데이터에 대해 최적화된 SQL 쿼리를 실행하고, 사용자 정의 Python 함수를 플러그인하고, Pandas와 결과를 교환할 수 있게 합니다. 다른 데이터 시스템의 기반으로 널리 사용되며, 일반적인 패키지 관리자로 설치할 수 있고, 기여자와 AI 지원 개발을 위한 도구를 포함합니다.