earshot – AI エージェントに 聞く と 作る 音の方法を提供

それは何か

• Python のみ、CPU のみのコマンドラインツール（およびライブラリ）で、オーディオを AI エージェントが推論できる構造化データに変換し、その逆も行います：コードを音に変換します。
• CLI コマンド（describe、match、find、critique など）に加えて、Python API と MCP サーバーが付属しており、Claude スタイルのエージェントがソケット経由で呼び出すことができます。

主な機能

機能	エージェントが受け取るもの	仕組み
describe FILE	平易な説明と校正されたタグ（z スコア）、AudioSet ラベル、ラウドネス、スペクトル測定。	2 つのオープンモデル（CLAP（テキスト-オーディオ埋め込み）と AudioSet タガー）とモデルフリーの測定を使用。
match FILE QUERY	類似度スコア（コサイン + z スコア）と判定（強い/可能性が高い/弱い）。	クエリを CLAP で埋め込み、ファイルの埋め込みと比較し、125 の参照音の語彙と照合。
find FILE QUERY	長い録音内の最適なマッチング瞬間のタイムスタンプ。	ウィンドウをスライドさせ、同じ埋め込み/タグパイプラインで各セグメントをスコアリングし、top-k トリムを返します。
realness FILE…	実録音とコード合成の分類（ウィンドウごとの信頼度付き）。	実音と合成音のホールドアウトセットでトレーニングされた分類器（ROC-AUC 0.92）。
timeline FILE	「リスニング文字起こし」：時間、レベル、タグ、ラウドネスカーブ、ビートグリッド、オプションのビデオ同期付きのイベント。
sheet FILE	注釈付き PNG（波形、スペクトログラム、タグ、同期マーカー）。視覚エージェントが読み取れます。
critique FILE	7 つのプロのローンチフィルムから構築されたプロファイルとローンチスタイルのビデオを比較するスコアカード。
forge RECIPE	コード から新しい音を生成（物理合成を説明する「レシピ」）し、同じ earshot 批評家を使用して反復的に改善します。
fit FILE	録音を分析し、バリエーション用のノブ付きで近似を再レンダリングできる Python レシピを出力します。
gallery DIR	生成された多くの音、そのスペクトログラム、測定値、レシピを示す自己完結型の HTML ページを生成します。

エージェントの使用方法

• CLI は人間が読める要約を出力します。--json は完全な構造化結果を返し、LLM エージェントが解析できます。
• MCP サーバーはモデルをウォームに保つため、Claude Code や他のエージェントは 20〜40 秒のロード時間なしで earshot を繰り返し呼び出すことができます。
• 2 つの既製の Claude スキル（skills/earshot と skills/real-sound）は、ツールをエージェントのワークフローに埋め込む方法を示しています。

コードから音を作る – forge

• レシピ は、物理合成ブロック（モーダル共振器、フィルタリングされたノイズ、ルームシミュレーションなど）を説明する小さな Python モジュールです。
• earshot forge は多くの候補音をレンダリングし、earshot 批評家（説明一致、リアルさ、音色バランス、エンベロープ）でスコアリングし、進化的検索を実行してパラメータを改善します。
• v0.2.0 では、34 のモーションデザインカテゴリ（ウィッシュ、クリック、インパクトなど）が複数のバリアントとベンチマークで追加され、生成された音が実際の録音と区別しにくいことを示しています。

録音をコードに変換 – fit

• earshot fit は分析-合成を実行します：入力オーディオにコンパクトな合成モデルを適合させ、再利用可能なレシピを書き出します。
• 12 サンプルのテストセットで報告された中央値 CLAP コサインは 0.945 で、生成されたレシピのほとんどが元と同じトップタグを受け取ります。

インストールと要件

• Python 3.10+、PATH に ffmpeg/ffprobe、CPU のみ。
• 初回実行時に 2 つのオープンモデル（約 1.4 GB）をダウンロード：laion/larger_clap_general と MIT/ast-finetuned-audioset-10-10-0.4593。
• オプションの LLM 批評は Gemini を使用（API キーはユーザーが提供）。

パフォーマンスと制限

• 説明のマッチングは 98% の確率で「強い」；正確なバリアントは 61%。
• 実音と合成の分類 ROC-AUC 0.92 ですが、モデルはだまされる可能性があります。モデルフリーの測定（スペクトルバランス、エンベロープ）の方が信頼性が高いです。
• ラップトップ CPU で動作：60〜90 秒のフィルムの分析には約 1.5 分かかります。
• 高レベルの美学、音声コンテンツ、約 14 kHz 以上の周波数を判断できません。

誰に役立つか？

• AI 駆動のビデオまたはゲームパイプラインを構築し、エージェントに音響効果を 推論 させる必要がある開発者。
• オーディオ-LLM 統合、オーディオからコードへの合成、または合成音の評価を探求する研究者。
• プログラムで調整できるコードベースの音響効果を生成したいクリエイター。

結論 earshot はオーディオとコードの間のギャップを埋め、AI エージェントに録音サンプルに依存せずに音を聞き、評価し、生成するための構造化された「耳」を提供します。これは、AI 対応のオーディオ分析と合成に焦点を当てた本物のオープンソースソフトウェアプロジェクトです。