arcee-ai/mergekit

解決する課題

mergekit は、追加の学習やアンサンブルによる高い計算コストを必要とせずに、複数の事前学習済み言語モデルを単一のモデルに統合する方法を提供します。これにより、ユーザーは専門的な能力を組み合わせたり、モデル間でスキルを転移させたり、単一モデルと同じ推論コストを維持しながら最適なパフォーマンスのトレードオフを見つけることができます。

仕組み

このツールキットは、モデルの重み空間で直接動作します。「out-of-core」アプローチとテンソルの遅延読み込みを使用しており、リソースが制限されたハードウェア上でも複雑なマージを実行可能です。CPUのみ、あるいはわずか 8 GB の VRAM で動作します。ユーザーは YAML 設定ファイルを通じてマージ操作を定義し、マージ手法、使用するモデルやレイヤー（スライス）、およびマージのパラメータを指定します。

対象ユーザー

大規模なデータセットや膨大な計算リソースを必要とせずに、既存のモデルをマージして新しい高性能な言語モデルを作成したい AI 研究者や開発者。

主な特徴

• 低リソース要件: GPU または CPU での実行をサポートし、遅延読み込みによってメモリ使用量を最小限に抑えます。
• 幅広いモデルサポート: Llama、 Mistral、 GPT-NeoX、 StableLM などと互換性があります。
• 多様なマージ手法: Linear、 SLERP、 TIES、 DARE、 Mixture of Experts マージなど、さまざまな手法が含まれています。
• 高度な機能: 「Frankenmerging」（レイヤーの断片的な組み立て）、 LoRA 抽出、進化的なマージ手法をサポートしています。
• 柔軟な Tokenizer 処理: 語彙の調整や埋め込みの移植に対して、きめ細かな制御を提供します。