krillinai/KrillinAI

何を解決するか

KrillinAI はエンドツーエンドの動画ローカリゼーションおよび強化ツールです。異なる言語やプラットフォーム向けに動画を翻訳する面倒なプロセスを自動化し、元の動画のダウンロードからダブイング音声の生成、およびプラットフォーム固有のレイアウト（ランドスケープおよびポータイト）の作成までをすべて処理します。

動作方法

このツールは、デスクトップクライアント、Web UI、またはコマンドラインインターフェース（CLI）から操作可能な完全なパイプラインを実装しています。複数のAIコンポーネントを統合しています：

• 音声認識：Whisper（OpenAI、FasterWhisper、WhisperKit、WhisperCpp）または Alibaba Cloud ASR を使用して音声をテキストに変換します。
• 翻訳：LLM（OpenAI、Gemini、DeepSeekなど）を使用して、文脈と自然な意味を保持しながら字幕を翻訳します。
• ダブイング：TTSサービス（Alibaba Cloud、OpenAI、MiniMax）または CosyVoice を使用して音声クローンと音声生成を行います。
• 処理：自動的に字幕の同期、用語の置換、およびさまざまなソーシャルメディア形式（例：TikTok、YouTube、Bilibili）向けの動画レンダリングを処理します。

対象ユーザー

• コンテンツクリエイター：グローバルな視聴者向けに動画をローカライズしたいが、手動作業を最小限に抑えたい人。
• AIエージェント：CLIと提供される「エージェントスキル」を通じて、翻訳およびダブイングパイプラインをオーケストレーションできる自動ワークフローを開発している開発者。

特徴

• フルライフサイクルパイプライン：ダウンロード、音声認識、翻訳、ダブイング、レンダリングを1つのツールでカバー。
• エージェント対応：構造化されたCLIと、AIエージェントが特定の段階を呼び出すための専用 skills/ ディレクトリを提供。
• 柔軟なデプロイ：Windows、Linux、macOSをサポートし、ローカルモデル実行またはクラウドAPIの使用が選択可能。
• クロスプラットフォーム最適化：自動的に横長および縦長の動画形式を生成し、最適化された字幕レイアウトを提供。
• 音声クローン：Alibaba Cloudサービスを介してカスタム音声クローンをサポート。