shinyobjectz/raea
Render Anything Engine: tell your AI what to make. Videos, motion graphics, 3D and games as React and TypeScript, rendered on your own GPU. Rust + Bevy, macOS, Linux and Windows.
raea — 渲染一切引擎(面向所有人)
它是什么。 raea 是一个将简单指令转化为成品媒体的工具——视频、动态图形、3D 场景和游戏。你描述你想要的内容,AI 会编写代码(React 和 TypeScript,这些是 AI 模型已经熟悉的语言)。然后 raea 在你的 GPU 上渲染这些代码,速度超过实时播放。
当前状态。 raea 处于“canary”模式——它每天更新,可能会有破坏性变更和粗糙之处。它支持 macOS(Apple Silicon)、Linux(x86_64)和 Windows(x86_64,最新且测试最少)。
工作原理
一个“合成”是一个 React 组件,为特定时刻绘制一帧。README 中的一个最小示例:
import { AbsoluteFill, Composition, interpolate, registerRoot, useCurrentFrame } from "raea";
function Hello() {
const f = useCurrentFrame();
return <AbsoluteFill style={{ background: "#000", color: "#fff", fontSize: 120, opacity: interpolate(f, [0, 20], [0, 1]) }}>Hello</AbsoluteFill>;
}
registerRoot(() => <Composition id="hello" component={Hello} width={1920} height={1080} fps={30} durationInFrames={90} />);
用一条命令渲染:
raea render hello.tsx -o hello.mp4
在 Apple Silicon Mac 上,这 90 帧大约在一秒内渲染完成。同一个文件可以实时播放为游戏(raea play),渲染为单帧供 AI 检查(-o frame.png --frame 45),或根据质量标准检查(raea check hello.mp4)。raea init 启动新项目,raea --help 列出所有可用命令。
它能生成什么
- 视频和动态图形 — 布局、文本、Tailwind 样式、SVG 和动画,在 GPU 上合成,并在可用时进行硬件编码。
raea cut根据视频中说的内容修剪素材。raea check在任何人观看之前自动捕获问题:文本裁剪、低对比度、不安全区域、冻结和响度问题。 - 游戏 — 输入、物理、声音和 3D,可通过
raea play实时播放,或通过raea export-game导出为独立程序。 - 3D 场景 — 用 TypeScript 编写,由 Bevy 引擎(版本 0.20)渲染:相机、灯光、材质、glTF 模型、高斯溅射以及编译到引擎中的 Bevy 插件。
- 声音 — 一个用于实时播放和离线渲染的混音器,包含乐器和效果,以及用于拟音(音效)和乐器音符的本地模型(
raea sao、raea tokensynth)。 - 代理友好的输出 — raea 绘制的所有内容都保持可查询的数据形式,因此 AI 可以渲染一帧、查看它并修复问题,无需人工介入。
与 AI 代理一起使用
- 代理技能 — 安装程序将技能文件添加到
~/.claude/skills,教 Claude Code(或任何读取该文件夹的代理)如何编写、渲染和检查 raea 作品。一个技能涵盖合成;另一个(raea-bevy)涵盖 3D 和游戏。 - Claude Code 插件 — 通过
/plugin marketplace add shinyobjectz/raea安装,然后/plugin install raea@raea。 - 工艺指南 —
raea guide打印每个编辑必须满足的质量底线,以及关于推介、解释、故事、游戏、动态、音乐和布局的指南。raea context PROJECT告诉你在处理项目前需要阅读什么。
安装
macOS/Linux:
curl -fsSL https://raea.io/install | sh
这会将 raea 命令放在 ~/.raea 下,链接到 ~/.local/bin,并将代理技能添加到 ~/.claude/skills。重新运行以更新。引擎免费,无需账户。发布页面上有 tarball 和校验和。
Windows 10/11(PowerShell):
irm https://raea.io/install.ps1 | iex
这会在 ~\.raea 下执行相同操作,并将 raea 添加到你的 PATH。Windows 需要 Microsoft Visual C++ Redistributable (x64) 和 DirectX 12 或 Vulkan GPU 驱动程序。
隐私和网络行为
raea 本身不发送任何内容——没有遥测、崩溃报告或更新检查。网络流量只在你要求时发生(合成中的远程 URL、首次使用时下载的模型,或在你持有密钥的提供商上执行的 raea gen 步骤)。设置 RAEA_OFFLINE=1 会拒绝所有网络访问。
从源代码构建
要求:Rust(稳定版)、bun 和平台库(macOS 上的 Xcode 命令行工具;Linux 上的 ALSA、fontconfig 和 Vulkan 库)。
git clone https://github.com/shinyobjectz/raea && cd raea
cargo build --release -p raea-cli --no-default-features
target/release/raea render sdk/react/bench/games/pong/edit.tsx -o pong.mp4
--no-default-features 构建公共引擎,与官方发布一致。默认功能添加了一个托管服务——由 raea 的签名服务器签名的 Content Credentials——这不属于此仓库。
项目结构
工作区从纯构建块到命令行工具分层组织:
| 文件夹 | 用途 |
|---|---|
core/ |
纯构建块:内核语言(K,在 CPU 上解释并编译为 WGSL)、缓动/动画、形状、字体、场景和线格式 |
gpu/ |
单个共享 GPU 设备及其遥测 |
io/ |
解码/编码(VideoToolbox、软件编解码器、AV1、复用器)、文件、网络、npm 包、跟踪 |
systems/ |
引擎系统:布局、画布、合成、滤镜、混音、语音、ML(ONNX Runtime)、素材读取、光照、3D 部件的接触检查、溅射 |
runtime/ |
运行合成:JavaScript 引擎接缝(macOS 上的 JavaScriptCore,其他地方的 QuickJS)、Bevy 上的 React 和 HTML、烘焙、编码、实时播放 |
engine/ |
渲染器、进程内 TypeScript 打包器、Bevy 插件目录以及 raea 命令本身 |
apps/ |
CLI 动词背后的 crate:check、play、games、media |
sdk/ |
TypeScript SDK、其 3D/物理/音频/视频/UI 包、工艺指南和代理技能 |
vendor/ |
修补的上游 crate,保留其自己的许可证(原因在 vendor/vendor.toml 中) |
tools/ |
构建和发布辅助工具 |
用 Gherkin(.feature 文件)编写的行为规范位于其描述的代码旁边。
许可证
raea 采用 Functional Source License 1.1, ALv2 Future License(FSL-1.1-ALv2),版权归 Shane Murphy 所有。你可以使用、修改、基于它构建和传递它,用于任何目的,除非是与 raea 竞争的产品。每个版本在发布两年后变为 Apache-2.0。第三方组件保留其自己的许可证(见 NOTICE)。
以上所有事实均直接来自项目 README;没有添加或推断任何超出该文档所述的内容。
相关
- 项目
- 项目
- 项目
- 项目