apple/corenet

解決する課題

CoreNetは、標準的および新規のAIモデルの学習を簡素化するために設計されたディープニューラルネットワークツールキットです。研究者やエンジニアが、小規模な専門モデルからLLMやCLIPのような大規模な基盤モデルまで、幅広いタスク向けにモデルを構築・拡張するための統一されたフレームワークを提供します。

仕組み

このライブラリは、モデルやデータセットがタスク（分類、検出、言語モデリングなど）ごとに分類されるレジストリベースのシステムを中心に構成されています。ユーザーは、特定のモデルクラス、データセット、オプティマイザーを参照するYAML設定ファイルを使用して、学習および評価パイプラインを定義できます。マルチノード学習をサポートしており、MLXと統合することでApple Silicon上で効率的に実行可能です。

対象ユーザー

主に、さまざまなモダリティ（テキスト、画像、音声、動画）にわたってディープニューラルネットワークを再現可能な方法で学習する必要があるAI研究者やエンジニアを対象としています。

主な特徴

• 幅広いタスクサポート: オブジェクト分類、オブジェクト検出、セマンティックセグメンテーション、言語モデリングをサポートしています。
• すぐに使えるレシピ: 多くのAppleの研究論文（OpenELM、CatLIP、FastVitなど）に対応した、再現可能な学習レシピと事前学習済みウェイトが含まれています。
• マルチモーダル機能: 音声、動画、テキスト向けの専門的なデータローダーとエンコーダーを提供します。
• Apple Silicon最適化: Macハードウェア上でモデルを効率的に実行するためのMLXサンプルが含まれています。