shinyobjectz/raea

Render Anything Engine: tell your AI what to make. Videos, motion graphics, 3D and games as React and TypeScript, rendered on your own GPU. Rust + Bevy, macOS, Linux and Windows.

raea — 渲染一切引擎(面向所有人)

它是什么。 raea 是一个将简单指令转化为成品媒体的工具——视频、动态图形、3D 场景和游戏。你描述你想要的内容,AI 会编写代码(React 和 TypeScript,这些是 AI 模型已经熟悉的语言)。然后 raea 在你的 GPU 上渲染这些代码,速度超过实时播放。

当前状态。 raea 处于“canary”模式——它每天更新,可能会有破坏性变更和粗糙之处。它支持 macOS(Apple Silicon)、Linux(x86_64)和 Windows(x86_64,最新且测试最少)。

工作原理

一个“合成”是一个 React 组件,为特定时刻绘制一帧。README 中的一个最小示例:

import { AbsoluteFill, Composition, interpolate, registerRoot, useCurrentFrame } from "raea";

function Hello() {
  const f = useCurrentFrame();
  return <AbsoluteFill style={{ background: "#000", color: "#fff", fontSize: 120, opacity: interpolate(f, [0, 20], [0, 1]) }}>Hello</AbsoluteFill>;
}

registerRoot(() => <Composition id="hello" component={Hello} width={1920} height={1080} fps={30} durationInFrames={90} />);

用一条命令渲染:

raea render hello.tsx -o hello.mp4

在 Apple Silicon Mac 上,这 90 帧大约在一秒内渲染完成。同一个文件可以实时播放为游戏(raea play),渲染为单帧供 AI 检查(-o frame.png --frame 45),或根据质量标准检查(raea check hello.mp4)。raea init 启动新项目,raea --help 列出所有可用命令。

它能生成什么

  • 视频和动态图形 — 布局、文本、Tailwind 样式、SVG 和动画,在 GPU 上合成,并在可用时进行硬件编码。raea cut 根据视频中说的内容修剪素材。raea check 在任何人观看之前自动捕获问题:文本裁剪、低对比度、不安全区域、冻结和响度问题。
  • 游戏 — 输入、物理、声音和 3D,可通过 raea play 实时播放,或通过 raea export-game 导出为独立程序。
  • 3D 场景 — 用 TypeScript 编写,由 Bevy 引擎(版本 0.20)渲染:相机、灯光、材质、glTF 模型、高斯溅射以及编译到引擎中的 Bevy 插件。
  • 声音 — 一个用于实时播放和离线渲染的混音器,包含乐器和效果,以及用于拟音(音效)和乐器音符的本地模型(raea sao、raea tokensynth)。
  • 代理友好的输出 — raea 绘制的所有内容都保持可查询的数据形式,因此 AI 可以渲染一帧、查看它并修复问题,无需人工介入。

与 AI 代理一起使用

  • 代理技能 — 安装程序将技能文件添加到 ~/.claude/skills,教 Claude Code(或任何读取该文件夹的代理)如何编写、渲染和检查 raea 作品。一个技能涵盖合成;另一个(raea-bevy)涵盖 3D 和游戏。
  • Claude Code 插件 — 通过 /plugin marketplace add shinyobjectz/raea 安装,然后 /plugin install raea@raea。
  • 工艺指南 — raea guide 打印每个编辑必须满足的质量底线,以及关于推介、解释、故事、游戏、动态、音乐和布局的指南。raea context PROJECT 告诉你在处理项目前需要阅读什么。

安装

macOS/Linux:

curl -fsSL https://raea.io/install | sh

这会将 raea 命令放在 ~/.raea 下,链接到 ~/.local/bin,并将代理技能添加到 ~/.claude/skills。重新运行以更新。引擎免费,无需账户。发布页面上有 tarball 和校验和。

Windows 10/11(PowerShell):

irm https://raea.io/install.ps1 | iex

这会在 ~\.raea 下执行相同操作,并将 raea 添加到你的 PATH。Windows 需要 Microsoft Visual C++ Redistributable (x64) 和 DirectX 12 或 Vulkan GPU 驱动程序。

隐私和网络行为

raea 本身不发送任何内容——没有遥测、崩溃报告或更新检查。网络流量只在你要求时发生(合成中的远程 URL、首次使用时下载的模型,或在你持有密钥的提供商上执行的 raea gen 步骤)。设置 RAEA_OFFLINE=1 会拒绝所有网络访问。

从源代码构建

要求:Rust(稳定版)、bun 和平台库(macOS 上的 Xcode 命令行工具;Linux 上的 ALSA、fontconfig 和 Vulkan 库)。

git clone https://github.com/shinyobjectz/raea && cd raea
cargo build --release -p raea-cli --no-default-features
target/release/raea render sdk/react/bench/games/pong/edit.tsx -o pong.mp4

--no-default-features 构建公共引擎,与官方发布一致。默认功能添加了一个托管服务——由 raea 的签名服务器签名的 Content Credentials——这不属于此仓库。

项目结构

工作区从纯构建块到命令行工具分层组织:

文件夹 用途
core/ 纯构建块:内核语言(K,在 CPU 上解释并编译为 WGSL)、缓动/动画、形状、字体、场景和线格式
gpu/ 单个共享 GPU 设备及其遥测
io/ 解码/编码(VideoToolbox、软件编解码器、AV1、复用器)、文件、网络、npm 包、跟踪
systems/ 引擎系统:布局、画布、合成、滤镜、混音、语音、ML(ONNX Runtime)、素材读取、光照、3D 部件的接触检查、溅射
runtime/ 运行合成:JavaScript 引擎接缝(macOS 上的 JavaScriptCore,其他地方的 QuickJS)、Bevy 上的 React 和 HTML、烘焙、编码、实时播放
engine/ 渲染器、进程内 TypeScript 打包器、Bevy 插件目录以及 raea 命令本身
apps/ CLI 动词背后的 crate:check、play、games、media
sdk/ TypeScript SDK、其 3D/物理/音频/视频/UI 包、工艺指南和代理技能
vendor/ 修补的上游 crate,保留其自己的许可证(原因在 vendor/vendor.toml 中)
tools/ 构建和发布辅助工具

用 Gherkin(.feature 文件)编写的行为规范位于其描述的代码旁边。

许可证

raea 采用 Functional Source License 1.1, ALv2 Future License(FSL-1.1-ALv2),版权归 Shane Murphy 所有。你可以使用、修改、基于它构建和传递它,用于任何目的,除非是与 raea 竞争的产品。每个版本在发布两年后变为 Apache-2.0。第三方组件保留其自己的许可证(见 NOTICE)。


以上所有事实均直接来自项目 README;没有添加或推断任何超出该文档所述的内容。

相关

  • 项目
  • 项目
  • 项目
  • 项目