ZeroTang05/VideoAdGuard

何を解決するか

VideoAdGuardは、Bilibiliビデオ内の統合広告（スポンサーセグメント）を検出してスキップするために設計されたブラウザ拡張機能です。広告が表示される特定の時間間隔を自動的に特定することで、ユーザーがプロモーションコンテンツを回避するのを支援します。

仕組み

このツールは、大規模言語モデル（LLM）を活用したテキストと音声の組み合わせ分析を使用して、ビデオコンテンツを分析します。プロセスは以下の手順に従います：

1. コンテンツ抽出: ビデオの字幕、タイトル、および固定コメントを取得します。字幕が利用できない場合は、音声ストリームをダウンロードし、Groq Whisper APIを使用して音声からテキストへの変換を行います。
2. キャッシュ確認: まず、ローカルの24時間キャッシュとコミュニティ主導のクラウドキャッシュを確認し、そのビデオの広告セグメントが既に特定されているかを確認します。
3. AI分析: キャッシュされた結果が見つからない場合、字幕または書き起こされた音声は、広告の正確な開始時間と終了時間を決定するために、設定されたLLM（DeepSeek、OpenAI、またはローカルのOllamaモデルなど）に送信されます。
4. ユーザーインターフェース: 特定された後、拡張機能はプレイヤーに「Skip Ad」ボタンを追加し、ビデオのプログレスバー上で広告セグメントを赤色でマークします。

対象ユーザー

ビデオ内のスポンサーセグメントを回避して時間を節約したいBilibili視聴者、およびコンテンツフィルタリングに自身のAI APIキーを使用することを好むユーザー。

ハイライト

• マルチモデル対応: OpenAI、Anthropic、およびOllama、LM Studio、またはvLLMを介したローカルモデルと互換性があります。
• 音声認識: Groq経由のWhisperモデルを使用して、字幕のないビデオ内の広告を検出できます。
• コミュニティ共有: ユーザーが広告のタイムスタンプを共有および修正できるクラウドキャッシュ機能を備えており、全員の精度を向上させます。
• インタラクティブなマーキング: ユーザーはプログレスバー上で検出された広告の開始時間と終了時間を手動で調整し、修正をクラウドに送信できます。
• 自動スキップ: 手動でのクリックなしに、特定された広告セグメントを自動的にジャンプするオプション。