yuxino-labs/koma

Self-hosted AI video analysis: summaries, chapters, keyframes, transcripts and SRT / JSON export. AI 视频总结、字幕提取与结构化分析。

解決する課題

Komaは、セルフホスト型のAI動画分析ツールで、生の動画ファイルを構造化データに変換します。レッスン、インタビュー、会議などにおいて、動画の手動要約、チャプター作成、検索可能な文字起こしの作成といった、通常時間のかかる作業を解決します。

仕組み

ユーザーは動画をアップロードするか、直接MP4のURLを提供します。システムはASR（自動音声認識）プロバイダーを使用して字幕を書き起こし、ビジョンプロバイダーを使用してキーフレームと音声コンテキストを分析します。この組み合わせた分析により、要約、チャプター、タグ、フレームの説明が生成されます。ユーザーは、AIが生成したこれらの結果に基づいて、動画内の特定の瞬間にジャンプできます。

対象ユーザー

メモ、スプレッドシート、または調査のために動画コンテンツを分析する必要がある人々を対象として設計されています。例えば、学生、研究者、製品分析や会議レビューを行う専門家などです。

ハイライト

  • マルチモーダル分析: 音声とキーフレームを組み合わせて、要約と構造化データを生成します。
  • 詳細なエクスポート: 結果をJSON、CSV、Markdown、SRT、TXTとしてエクスポートできます。
  • 字幕検索: 動画ソースへの直接リンク付きの検索可能な字幕を提供します。
  • セルフホスト型: GitHubサインインと、APIキーおよびジョブを管理するための管理コントロールを備えたプライベートワークスペースを提供します。
  • CLIサポート: Webインターフェースなしで動画を処理するためのコマンドラインインターフェースを含みます。

関連

  • プロジェクト
    vual/lobe-chat-pro

    Lobe Chat Pro は、オープンソースでセルフホスト可能なAIチャットプラットフォーム（lobe‑chat のフォーク）であり、完全な管理者コンソール、ユーザー／グループ管理、複数ベンダーのモデル価格設定、支払い統合（WeChat、Stripeなど）、画像・音楽・動画生成用のマルチモーダル「無限キャンバス」パネルを追加しています。Dockerで3つの形態（フルバックオフィス、ログイン付きゲートウェイオンリー、ログインなしゲートウェイオンリー）でデプロイ可能です。

  • プロジェクト
    TetreesEX/TetreesAgent_EX

    Tetrees Agent EX は、公開 MCP コントラクトを介して Tetrees EX マーケットプレイス上の AI パックを検索、見積もり、実行、拡張、公開できる Node.js SDK/CLI です。購入者、構築者、販売者のフロー用の例題スクリプトを提供し、すべての資格情報をローカルに保持します。

  • プロジェクト
    JJJJSTIYYYY/Apix

    APIXは、完全なフルスタックでオープンソースのAIエージェント協働プラットフォームです。リーダーエージェントが複数のサブエージェントを並列でオーケストレーションして複雑なタスクを処理でき、Dockerサンドボックスによる安全なコード実行、ワークスペースベースのメモリシステム、複数のLLMプロバイダー（OpenAI、DeepSeek、Ollamaなど）のサポートを備えています。デスクトップアプリ（Electron/Vue）とモジュール式のPythonバックエンドサービスを提供し、RAG用にオプションのMilvusベクトルDBもサポートしています。現在はバージョン2.2.2ですが、大きな3.0の再設計が進行中です。

  • プロジェクト
    huggingface/huggingface-gemma-recipes

    Gemmaファミリーのモデルを使ってマルチモーダル推論、ファインチューニング、RAGを実装するための最小限のレシピとノートブックのコレクションです。