fmind/mlops-python-package

何を解決するか

Pythonコードベースとベストプラクティスの標準化されたセットを提供し、MLOpsイニシアチブをスムーズに進めます。モデルレジストリ、実験追跡システム、リアルタイム推論サービスなどのMLOpsプラットフォームを構築する際の、断片的または一貫性のないプロジェクト構造の問題を解決します。

仕組み

このプロジェクトは、幅広いプロフェッショナルなソフトウェアエンジニアリングツールを統合するリファレンス実装およびツールキットとして機能します。ジョブ（トレーニング、チューニング、推論など）はYAMLファイルで定義され、CLI経由で実行される、設定駆動型のアプローチを採用しています。システムはPydanticを用いて設定の検証を行い、スタンドアロンパッケージとして使用できるか、他のAI/MLプロジェクトにライブラリとして統合できるモジュール化された「ジョブ」アーキテクチャを採用しています。

対象ユーザー

テスト、Lint、CI/CD、モデル管理に業界標準のツールを使用して、堅牢でプロダクション対応のMLOpsパイプラインを実装したいMLエンジニアおよびソフトウェア開発者

特徴

• 包括的なツールチェーン: uvによるパッケージ管理、RuffによるLint/フォーマット、Pytestによるテスト、MLflowによる追跡およびレジストリを統合しています。
• 設定駆動型: YAMLとOmegaConfを使用してジョブの振る舞いを定義し、コードを変更せずに柔軟な実行が可能になります。
• 自動化されたワークフロー: CI/CD用の事前定義済みGitHub Actionsと、ローカル開発環境とCI環境を同期するためのmiseタスクランナーを含んでいます。
• 強力な型指定: tyとPanderaを用いた静的型指定とデータスキーマ検証を重視しています。