lightly-ai/lightly-train

何を解決するか

LightlyTrain は、最先端のコンピュータビジョンモデルの作成を簡素化するためのフレームワークです。ラベルなしデータ上で基礎モデルを事前学習し、オブジェクト検出やセグメンテーションなどの特定のタスクに微調整し、最終的にエッジデバイス向けに最適化するという、モデル開発ライフサイクル全体の管理の難しさに対処しています。

仕組み

このフレームワークは、さまざまなコンピュータビジョンワークフローを扱う高レベルAPIを提供します。視覚的基礎モデル（DINOv2やDINOv3など）からの事前学習および知識蒸留、専門的なタスク向けの微調整をサポートしています。また、ONNXやTensorRTなどの最適化ツールと統合され、組み込みデバイスでの高速推論を実現します。

対象ユーザー

エッジデバイスや独自データセットをターゲットとする高パフォーマンスなコンピュータビジョンモデルの構築、学習、デプロイが必要な機械学習エンジニアや開発者向けです。

主な特徴

• 包括的なタスク対応: オブジェクト検出、インスタンスセグメンテーション、パノプティックセグメンテーション、セマンティックセグメンテーション、単眼深度推定をサポート。
• 最先端のアーキテクチャ: LTDETRv2、DINOv3、EoMT（CVPR 2025）などの最新モデルを統合。
• エッジ最適化: 低消費電力の組み込みデバイス向けに、FP16精度でのONNXおよびTensorRTエクスポートを標準でサポート。
• 柔軟なバックボーン: ViTs、ハイブリッド、CNNsなどさまざまなバックボーンと互換性があり、知識蒸留用のカスタム教師モデルもサポート。