SonyResearch/Woosh

Public release of the Sound Effect Foundation model by Sony AI.

何を解決するか

Wooshは、高品質なサウンドエフェクトを生成するための生成モデルのセットです。テキスト記述に基づく音声生成（テキストから音声）またはビデオシーケンスと同期する音声生成（ビデオから音声）の課題に対処します。

動作方法

このプロジェクトは、Latent Diffusion Models (LDMs) と補助コンポーネントのセットを使用しています：

  • Woosh-AE：生の音声と潜在表現の間の変換を処理する音声エンコーダ/デコーダ。
  • Woosh-CLAP：マルチモーダルなアライメントモデルで、拡散モデルの条件付けに使用するテキスト-音声トークン潜在を提供します。
  • Woosh-Flow と Woosh-DFlow：テキストプロンプトから音声を生成するか、条件なしで生成するモデル。
  • Woosh-VFlow：ビデオシーケンスに特化して音声を生成するマルチモーダルLDMで、オプションのテキストプロンプトも使用可能。

対象ユーザー

このツールキットは、メディア制作における自動サウンドエフェクト生成に関心を持つサウンドデザイナー、ビデオエディター、AI研究者を対象としています。

特徴

  • テキストから音声 (T2A)：文章による記述からサウンドエフェクトを生成。
  • ビデオから音声 (V2A)：ビデオの視覚的コンテンツに合った音声を生成。
  • マルチモーダル条件付け：ビデオとテキストプロンプトを組み合わせて音声生成が可能。
  • オープンウェイト：公開データセット用の事前学習済み重みが利用可能。

関連

  • プロジェクト
    jzjzzzzzzz/agent-me

    Agent‑Me は、個人の Markdown 知識ベースを検査可能な AI「ツイン」に変換するオープンソースの FastAPI + React システムです。決定論的なマルチステージパイプライン（取得 → 計画 → 調査 → 評価 → 書き出し → オプションの検証）を実行し、すべての回答を証拠に基づき、監査可能な形で返します。リポジトリには Docker‑compose とローカルツールチェーンのセットアップ、オプションの OpenAI 互換 LLM 統合、決定論的フィクスチャ付きのテストスイート、開発者がアーキテクチャを拡張できるバイリンガルカリキュラムが含まれます。

  • プロジェクト
    OHF-Voice/wyoming-faster-whisper

    faster-whisper を使用した高速音声認識のための Wyoming プロトコルサーバー。Home Assistant のエンティティ名にバイアスをかけるオプション機能付き。

  • プロジェクト
    LibreSpark/LibreTTS

    300以上の音声をサポートし、カスタムのOpenAI互換TTS APIとの統合を可能にする無料のオンラインテキスト読み上げツール。

  • プロジェクト
    Socialpranker/deepdive

    Deepdive はオープンソースの Claude Code スキルであり、単純なリサーチリクエストを再現可能な 13 フェーズのパイプラインに変換します。質問を再構築し、詳細な計画を立て、29 の厳選された検索チャネル全体で並列サブエージェントを実行し、証拠の三角測量とフィルタリングを行い、敵対的レッドチームレビューを実施し、引用の有効性と忠実性を検証します。出力は構造化された Markdown ファイルのフォルダ（計画、ソース、クレーム、メモ、完全なレポート）であり、各クレームがソースにリンクされているため、研究が監査可能で再利用可能になります。インストールは Claude Code 用に 1 行の git clone で行うことができ、その方法論は他の LLM にも適応できます。