insitro/redun

Yet another redundant workflow engine

redunはPython用の_冗長ワークフローエンジン_です。データ処理パイプラインを通常のPythonコードとして定義でき、そのパイプラインをスケジュールしてくれます——ステップを自動的に並列実行し、変更されていないステップをスキップし、各結果がどのように生成されたかの完全な履歴を記録します。

関連

  • プロジェクト
    magda-io/magda

    Magda は、組織がすべてのデータを発見、強化、検索、追跡、優先順位付けするための単一の場所を提供するデータカタログシステムです。データが内部、外部、ファイル、データベース、API のいずれに保存されていても対応します。フェデレーションを使用して、多くのソースからのメタデータを1つの検索可能なビューに結合します。

  • プロジェクト
    lightonai/next-plaid

    NextPlaid は、REST API を備えたローカルファーストのマルチベクター検索データベースです。ColGREP はその上に構築されたセマンティックコード検索ツールで、単一の Rust バイナリとしてコードベースをローカルにインデックスし、自然言語クエリ（オプションで小型の組み込みエージェントモデルを使用）に応答し、正規表現フィルタリングとセマンティックランキングを組み合わせます。NextPlaid は、量子化、メモリマップドインデックス、インクリメンタル更新、SQL メタデータ事前フィルタリングにより、マルチベクター埋め込み（ドキュメントあたり数百個）のストレージコストを解決し、すべて CPU フレンドリーです。両ツールは Apache-2.0 ライセンスで、ONNX エクスポートされた ColBERT モデルを使用し、すべてのデータをマシン上に保持します。

  • プロジェクト
    OvidijusParsiunas/myvision

    コンピュータビジョンの機械学習トレーニングデータを生成するための、自動バウンディングボックス生成とデータセット形式変換をサポートする無料のオンライン画像アノテーションツール。

  • プロジェクト
    apache/datafusion-python

    DataFusion Python は、Apache DataFusion の高性能な Rust ベースの SQL および DataFrame クエリエンジンを Python に公開するブリッジであり、開発者は CSV/Parquet/JSON データに対して最適化された SQL クエリを実行し、カスタム Python 関数をプラグインし、Pandas と結果を交換できます。これは他のデータシステムの基盤として広く使用され、一般的なパッケージマネージャーでインストールでき、コントリビューター向けのツールと AI 支援開発も含まれています。