shinyobjectz/raea

Render Anything Engine: tell your AI what to make. Videos, motion graphics, 3D and games as React and TypeScript, rendered on your own GPU. Rust + Bevy, macOS, Linux and Windows.

raea — Render Anything Engine(誰でも使える)

それは何か。 raea は、プレーンな指示を完成したメディア(ビデオ、モーション グラフィックス、3D シーン、ゲーム)に変換するツールです。あなたが望むものを説明すると、AI がコード(React と TypeScript、AI モデルがすでによく知っている言語)を書きます。次に raea は、そのコードをあなたの GPU 上でリアルタイム再生よりも速くレンダリングします。

現在のステータス。 raea は「カナリア」モードです。毎日変更され、破壊的な変更や粗削りな部分が予想されます。macOS(Apple Silicon)、Linux(x86_64)、Windows(x86_64、最新で最もテストされていない)で動作します。

仕組み

「コンポジション」は、特定の時点の 1 フレームを描画する React コンポーネントです。README の最小限の例:

import { AbsoluteFill, Composition, interpolate, registerRoot, useCurrentFrame } from "raea";

function Hello() {
  const f = useCurrentFrame();
  return <AbsoluteFill style={{ background: "#000", color: "#fff", fontSize: 120, opacity: interpolate(f, [0, 20], [0, 1]) }}>Hello</AbsoluteFill>;
}

registerRoot(() => <Composition id="hello" component={Hello} width={1920} height={1080} fps={30} durationInFrames={90} />);

1 つのコマンドでレンダリング:

raea render hello.tsx -o hello.mp4

Apple Silicon Mac では、この 90 フレームは約 1 秒でレンダリングされます。同じファイルは、ゲームとしてライブ再生(raea play)、AI が検査するための単一フレームとしてレンダリング(-o frame.png --frame 45)、または品質基準に対するチェック(raea check hello.mp4)が可能です。raea init は新しいプロジェクトを開始し、raea --help は利用可能なすべてのコマンドを一覧表示します。

生成できるもの

  • ビデオとモーション グラフィックス — レイアウト、テキスト、Tailwind スタイル、SVG、アニメーションを GPU 上で合成し、利用可能な場合はハードウェア エンコードします。raea cut は、ビデオ内で話されている内容に基づいてフッテージをトリミングします。raea check は、誰かが見る前に、テキストのクリップ、低コントラスト、安全でない領域、フリーズ、ラウドネスの問題など、問題を自動的にキャッチします。
  • ゲーム — 入力、物理、サウンド、3D を raea play でライブ再生したり、raea export-game でスタンドアロン プログラムとしてエクスポートしたりできます。
  • 3D シーン — TypeScript で記述され、Bevy エンジン(バージョン 0.20)でレンダリングされます:カメラ、ライト、マテリアル、glTF モデル、ガウス スプラット、およびエンジンにコンパイルされた Bevy プラグイン。
  • サウンド — ライブ再生とオフライン レンダリングの両方に使用される単一のミキサーで、楽器とエフェクトに加えて、フォーリー(効果音)と楽器ノート用のローカル モデル(raea sao、raea tokensynth)を備えています。
  • エージェント向け出力 — raea が描画するすべてのものはデータとしてクエリ可能なままなので、AI はフレームをレンダリングし、それを調べ、人間を介さずに問題を修正できます。

AI エージェントでの使用

  • エージェント スキル — インストーラーは、~/.claude/skills にスキル ファイルを追加し、Claude Code(またはそのフォルダーを読み取るエージェント)に raea の作業の書き方、レンダリング方法、チェック方法を教えます。1 つのスキルはコンポジションをカバーし、もう 1 つ(raea-bevy)は 3D とゲームをカバーします。
  • Claude Code プラグイン — /plugin marketplace add shinyobjectz/raea でインストールし、次に /plugin install raea@raea を実行します。
  • クラフト ガイド — raea guide は、すべての編集が満たす必要がある品質の下限と、ピッチ、説明、ストーリー、ゲーム、モーション、音楽、レイアウトのガイドを出力します。raea context PROJECT は、プロジェクトに取り組む前に読むべきものを教えてくれます。

インストール

macOS/Linux:

curl -fsSL https://raea.io/install | sh

これにより、raea コマンドが ~/.raea に配置され、~/.local/bin にリンクされ、エージェント スキルが ~/.claude/skills に追加されます。再実行して更新します。エンジンは無料で、アカウントは不要です。tarball とチェックサムはリリース ページにあります。

Windows 10/11(PowerShell):

irm https://raea.io/install.ps1 | iex

これにより、~\.raea の下で同じことが行われ、raea が PATH に追加されます。Windows には Microsoft Visual C++ Redistributable (x64) と DirectX 12 または Vulkan GPU ドライバーが必要です。

プライバシーとネットワーク動作

raea はそれ自体では何も送信しません。テレメトリ、クラッシュ レポート、更新チェックはありません。ネットワーク トラフィックは、要求した場合にのみ発生します(コンポジション内のリモート URL、初回使用時にダウンロードされるモデル、またはキーを保持しているプロバイダーでの raea gen ステップ)。RAEA_OFFLINE=1 を設定すると、すべてのネットワーク アクセスを拒否します。

ソースからのビルド

要件:Rust(安定版)、bun、およびプラットフォーム ライブラリ(macOS では Xcode コマンド ライン ツール、Linux では ALSA、fontconfig、Vulkan ライブラリ)。

git clone https://github.com/shinyobjectz/raea && cd raea
cargo build --release -p raea-cli --no-default-features
target/release/raea render sdk/react/bench/games/pong/edit.tsx -o pong.mp4

--no-default-features は、公式リリースと一致するパブリック エンジンをビルドします。デフォルト機能は、raea の署名サーバーによって署名された Content Credentials という 1 つのホスト型サービスを追加しますが、これはこのリポジトリの一部ではありません。

プロジェクト構造

ワークスペースは、純粋なビルディング ブロックからコマンド ライン ツールまで階層化されています。

フォルダー 目的
core/ 純粋なビルディング ブロック:カーネル言語(K、CPU で解釈され WGSL にコンパイル)、イージング/アニメーション、シェイプ、フォント、シーンおよびワイヤー形式
gpu/ 単一の共有 GPU デバイスとそのテレメトリ
io/ デコード/エンコード(VideoToolbox、ソフトウェア コーデック、AV1、マルチプレクサ)、ファイル、ネットワーク、npm パッケージ、トレース
systems/ エンジン システム:レイアウト、キャンバス、コンポジット、フィルター、ミキシング、スピーチ、ML(ONNX Runtime)、フッテージ読み取り、ライティング、3D パーツの接触チェック、スプラット
runtime/ コンポジションの実行:JavaScript エンジン シーム(macOS では JavaScriptCore、その他では QuickJS)、Bevy 上の React と HTML、ベイキング、エンコード、ライブ再生
engine/ レンダラー、プロセス内 TypeScript バンドラー、Bevy プラグイン カタログ、および raea コマンド自体
apps/ CLI の動詞の背後にあるクレート:check、play、games、media
sdk/ TypeScript SDK、その 3D/物理/オーディオ/ビデオ/UI パッケージ、クラフト ガイド、エージェント スキル
vendor/ パッチ適用された上流クレート(理由は vendor/vendor.toml に記載)
tools/ ビルドおよびリリース ヘルパー

Gherkin(.feature ファイル)で書かれた動作仕様は、説明するコードの隣にあります。

ライセンス

raea は Functional Source License 1.1, ALv2 Future License(FSL-1.1-ALv2)の下にあり、著作権は Shane Murphy に帰属します。raea と競合する製品を除き、あらゆる目的で使用、変更、構築、譲渡できます。各バージョンは、リリースから 2 年後に Apache-2.0 になります。サードパーティ コンポーネントは独自のライセンスを保持します(NOTICE を参照)。


上記の事実はすべてプロジェクトの README から直接引用されています。その文書に記載されている内容を超えて追加または推測されたものはありません。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト