rentruewang/aioway

AI on the way. An auto deep learning pipe dream. An RDBMS approach to deep learning. Declarative, explainable, scalable, optimizable, easy to deploy, all that good stuff.

何を解決するか

Aiowayは機械学習の高い導入障壁を解消し、高価な専門家によるトレーニングや質の低いAutoMLソリューションを置き換えます。現在のツールがしばしば遅すぎ（例：ニューラルアーキテクチャサーチ）、柔軟性に欠け、説明不能（例：LLM）であるという限界を克服することを目指しています。

動作方法

SQL向け最適化コンパイラにインスパイアされ、Aiowayは機械学習モデルやアルゴリズムを命令として扱います。タスクと利用可能なリソースを分析し、最適なアルゴリズムとモデルを選択して、説明可能性を保つ「ホワイトボックス」のパイプラインを構築します。

対象ユーザー

専門的なチューニングや高価な事前学習モデルを必要とせずに、自動的で柔軟かつ説明可能なMLパイプラインを構築したい開発者やデータサイエンティスト。

特徴

  • ルールベースの最適化：バックトラッキングを回避するため、ニューラルアーキテクチャサーチよりも高速。
  • リソースを意識した選択：タスクと利用可能なリソースを自動検出し、最適なモデルを選定。
  • 説明可能なアーキテクチャ：より高い透明性を実現するホワイトボックスモデルを生成。
  • 柔軟なインターフェース：Pythonライブラリインターフェースと、リレーショナル代数（SQL風）インターフェースの両方をサポート。
  • スケーラブル：モデルの一部をアップグレード可能で、異なるマシンサイズにスケーリング可能。

関連

  • プロジェクト
    generative-computing/mellea

    型付き関数を構造化された LLM 呼び出しに変換し、自動検証とリトライ機能付きで、予測可能な AI ワークフローを構築するための Python ライブラリです。

  • プロジェクト
    iree-org/iree

    IREEは、MLIRに基づくコンパイラおよびランタイムであり、機械学習モデルをデータセンター、モバイル、エッジデバイス間で効率的にデプロイできる統一IRに低レベル化します。

  • プロジェクト
    zenml-io/zenml

    開発からプロダクションデプロイメントまで、AIパイプラインとエージェントのフルライフサイクルをオーケストレーションするオープンソースのMLOpsプラットフォームです。

  • プロジェクト
    WecoAI/aideml

    AIDE MLは、LLM駆動の木探索エージェントを実装するオープンソースのPythonライブラリで、機械学習パイプラインの自動作成、デバッグ、最適化を可能にします。ユーザーはデータセット、目標、評価指標を自然言語で指定するだけで、エージェントはコードを反復生成し、評価し、探索木を刈り込み、指標が最大化されるまで処理を続けます。このパッケージにはCLI、Streamlit UI、HTML可視化機能が含まれており、OpenAI互換LLM（Ollamaなどのローカルモデルも含む）と連携可能です。

  • プロジェクト
    OpenDCAI/DataFlow

    DataFlowは、LLMトレーニングデータの生成、クリーニング、評価用の低コードパイプラインを構築・実行・共有できるオープンソースのPythonフレームワークです。再利用可能なオペレーターのライブラリ、視覚的なWebUI、自動パイプライン作成を支援するAIアシスタント、およびRayベースの分散実行レイヤーを提供しています。