zju3dv/MotionStreamer
[ICCV 2025] MotionStreamer: Streaming Motion Generation via Diffusion-based Autoregressive Model in Causal Latent Space
何を解決するか
MotionStreamerは、テキスト記述から人間の動きのシーケンスをストリーミング形式で生成する課題に対処します。連続的な動きの生成を可能にし、テキストで記述された異なる動作間の流れをより滑らかでシームレスにします。
仕組み
このシステムは、因果的潜在空間内で動作する拡散ベースの自己回帰モデルを使用しています。パイプラインは以下のステージで構成されています：
- 因果的 TAE：因果的時系列自己符号化器（TAE）は、動きを因果的潜在空間に符号化し、潜在表現が過去および現在のフレームのみに基づくことを保証します。
- 動き生成：モデルはLlamaブロック、"Two-Forward"戦略、QK-Normを使用して、テキスト埋め込み（sentence-T5-XXLによって提供）から動き潜在変数を生成します。
- ストリーミング対応：BABEL-streamなどの処理済みストリーミングデータセットで訓練されることで、モデルは部分シーケンス間で一貫性のある連続的な動きシーケンスを生成する能力を学びます。
対象ユーザー
コンピュータビジョン、3D人間の動き合成、ゲームやバーチャルリアリティ向けキャラクターアニメーションに取り組む研究者や開発者。
特徴
- ストリーミング生成：テキスト入力に基づいて連続的な動きシーケンスを生成可能。
- 因果的潜在空間：因果的TAEを使用して時系列の一貫性を確保し、生成中に未来の情報が漏洩するのを防ぎます。
- IK不要：272次元の動き表現を使用することで、復元時に逆運動学（IK）の必要がありません。
- 統合評価：FIDや多様性などの指標で品質を測定するTMRベースの動き評価器を内蔵しています。
関連
- プロジェクト
mathomhaus/guildGuildは、AIコーディングエージェントに永続的で検索可能なメモリと調整されたタスクボードを提供する、Goベースのローカルサーバーです。クエスト、ナレッジエントリ、原則（誓約）、引き継ぎ概要をSQLiteに保存し、BM25 + ベクトル検索のハイブリッド検索をサポートし、アトミックなクエスト取得機能とエージェントフレンドリーなJSON CLIモードを提供します。バイナリ、Homebrewパッケージ、またはDockerイメージとしてインストール可能で、エディタ（Claude Code, Codex, Cursor）を横断してエージェントがセッション間でシームレスに作業を継続できます。
- プロジェクト
Simreal-AI/Simreal-MLBench60のMLタスクにわたるAI研究エージェントの評価のためのオープンベンチマーク。スコアリングルールは透明だが、評価実行環境は商業的に運営されている。エージェントは2回のスコア付き提出が可能で、すべての結果は公開スコアリングコードとプロバンス記録により外部から検証可能。
- プロジェクト
TetreesEX/TetreesAgent_EXTetrees Agent EX は、公開 MCP コントラクトを介して Tetrees EX マーケットプレイス上の AI パックを検索、見積もり、実行、拡張、公開できる Node.js SDK/CLI です。購入者、構築者、販売者のフロー用の例題スクリプトを提供し、すべての資格情報をローカルに保持します。
- プロジェクト
vual/lobe-chat-proLobe Chat Pro は、オープンソースでセルフホスト可能なAIチャットプラットフォーム（lobe‑chat のフォーク）であり、完全な管理者コンソール、ユーザー／グループ管理、複数ベンダーのモデル価格設定、支払い統合（WeChat、Stripeなど）、画像・音楽・動画生成用のマルチモーダル「無限キャンバス」パネルを追加しています。Dockerで3つの形態（フルバックオフィス、ログイン付きゲートウェイオンリー、ログインなしゲートウェイオンリー）でデプロイ可能です。