Everlyn-Labs/Everlyn-1

Everlyn‑1の概要

Everlyn‑1は、Everlyn Labsによるオープンソースの研究スイートであり、現代のビデオ生成およびマルチモーダル言語モデルにおける3つの中心的な課題に取り組んでいます。

コンポーネント	機能	重要性
ベクトル量子化のための分布マッチング (Wasserstein‑VQ)	ベクトル量子化ビデオモデルで使用されるコードブックをトレーニングする新しい方法を導入します。Wasserstein距離を使用して潜在ベクトルの分布をコードブックに一致させることで、コードブックの利用率を向上させ、量子化誤差を低減します。	離散潜在空間の挙動が改善されるため、トレーニングがより安定し、ビデオ生成の品質が向上します。
EfficientARV	画像とビデオの両方を生成できる効率的な自己回帰アーキテクチャです。アニメーション、インペインティング、アウトペインティング、ビデオ予測、補間などの条件付きタスクをサポートし、マルチモーダル大規模言語モデルとプラグアンドプレイで動作するように設計されています。	一般的な自己回帰ビデオモデルのような高い計算コストをかけずに、多くのビデオ生成タスクを単一のモデルで処理できます。
ANTRP (Intervening Anchor Token)	マルチモーダルLLM向けのデコード時戦略で、ハルシネーションを低減します。クエリ・キーアテンションパラメータの分散を調整する（TAMEメカニズム）ことで、「アンカー」トークンがアテンションスペクトルを支配しないようにします。	推論のレイテンシを追加することなく、マルチモーダル出力における架空のオブジェクトや事実の発生頻度を低減します。

各コンポーネントの連携

これら3つのリポジトリは、Everlyn‑1という傘の下で連携しています。最初のコンポーネントは、自己回帰バックボーン (EfficientARV) が消費する離散潜在表現を改善します。2番目のコンポーネントは、さまざまな視覚タスクに対して条件付け可能なバックボーンを提供します。3番目のコンポーネントは、同じトークンストリームを使用するあらゆるマルチモーダルLLMの上位に配置され、モデルが視覚コンテンツの記述や生成を求められた際のパイプライン全体の信頼性を高めます。

想定されるユーザー

• 研究ラボ：安定したVQ層を必要とするビデオ生成やマルチモーダルLLMを研究している方。
• 開発者：ビデオからテキストへの変換、インタラクティブなビデオ編集、AI駆動のアニメーションなどのアプリケーションを構築しており、軽量な自己回帰モデルを求めている方。
• LLMチーム：視覚言語タスクにおけるハルシネーションを削減するためのプラグイン可能なデコード戦略を探している方。

はじめに

各コンポーネントは個別のGitHubリポジトリに存在します（リンクはREADMEに記載）。一般的なワークフローは以下の通りです。

1. ビデオデータセットで Wasserstein‑VQ コードブックをトレーニングまたは微調整します。
2. トレーニング済みのコードブックを EfficientARV と組み合わせて、ビデオトークンの自己回帰生成を学習させます。
3. マルチモーダルLLMをデプロイする際に、ANTRP/TAME デコードフックを有効にして出力の忠実度を向上させます。

これら3つのプロジェクトはすべてオープンソースであり、メインの Everlyn‑1 ページ (everlyn.tech) には、さらなるドキュメント、モデルチェックポイント、および事前トレーニング済みウェイトへのリンクが提供されています。

---

この要約は、リポジトリのREADMEに記載されている情報のみに基づいています。