ZhouXiaolin/opencat
ZhouXiaolin/opencat has 72 GitHub stars and 12 forks. GitHot measured 0 stars in 24 hours and 0 in 7 days. Last checked 2026-11-16 03:16 UTC. Last push 2026-11-03.
Crecimiento de estrellas medido
- in 24h
- 0
- in 7 days
- 0
- in 15 days
- Actualización retrasada
- in 1 month
- Actualización retrasada
Cambios netos en períodos que se solapan, no totales diarios. Los datos no disponibles se dejan en blanco. Las estrellas indican interés, no calidad.
Acerca de
Write JSONL/XML. Render video/image. Built for agents.
Creación y multimediaREADME.es-ES.md
OriginalJSX define escenas, animaciones y diseños. Skia GPU renderiza, FFmpeg codifica a MP4: determinista, multiplataforma y consistente entre máquinas. Sin instantáneas de Chromium, sin Puppeteer, sin un pipeline de renderizado Web sobrecargado.
Un video es simplemente un archivo JSX (esta es la escena A de examples/k3-promo/k3-promo.jsx, el spot de arriba):
import { useGSAP } from 'opencat/runtime';
export const meta = { width: 1920, height: 1080, fps: 30, duration: 16.4667 };
function StageCanvas({ id }) {
return <canvas id={id} class="absolute inset-0 w-[1920px] h-[1080px]" />;
}
function SceneA() {
useGSAP((ctx) => {
var T = ctx.global.time; // segundos a lo largo de los 16.4667s
ctx.getNode('sceneA').opacity(T >= 0.75 && T < 4.62 ? 1 : 0);
if (T >= 0.75 && T < 4.62) {
ctx.timeline()
.set('azoom', { scale: 1.07 }, 0.933)
.to('azoom', { scale: 0.9417, duration: 3.667, ease: 'none' }, 0.933)
.fromTo('atitlegrp', { opacity: 0 }, { opacity: 1, duration: 0.2, ease: 'power1.inOut' }, 3.03);
}
});
return (
<div id="sceneA" class="absolute inset-0 z-[2] opacity-0">
<div id="azoom" class="absolute inset-0 [transform-origin:50%_50%]">
<div id="afield" class="absolute inset-0"><StageCanvas id="afield-canvas" /></div>
<div id="atitlegrp" class="absolute left-[755px] top-[444px] w-[467px] h-[185px] opacity-0">
<div id="a-sel" class="absolute inset-0 border-[1px] border-white/25"></div>
<text id="aline1" class="absolute text-[#d8d8da] text-[63.6426px] tracking-[-0.8px] leading-none">Every token</text>
</div>
</div>
</div>
);
}
export default function K3Promo() {
return <div id="root" class="relative w-[1920px] h-[1080px] bg-[#010101] overflow-hidden"><SceneA /></div>;
}
cargo run --bin opencat -- examples/k3-promo/k3-promo.jsx
MP4 listo. Sin navegador, sin capturas de pantalla, sin GUI necesaria.
Por qué OpenCat
| OpenCat | Remotion / HyperFrames | |
|---|---|---|
| Render | Rust native GPU (Skia) | Chrome snapshot |
| Speed | 10x | Baseline |
| Deployment | Any environment / pure CLI | Requires Chromium |
| Animation | Custom GSAP-compatible API (80%+ coverage) | Direct GSAP / anime.js |
| Browser render | WASM + CanvasKit | Native |
| Deterministic | ✅ Consistente entre máquinas | ❌ |
| AI-friendly | JSX declarativo | JSX/HTML, más complejo |
Remotion reutiliza el ecosistema Web, pero la instantánea de Chrome tiene limitaciones inherentes: acceso a GPU restringido, alta sobrecarga de memoria, tasas de fotogramas limitadas y requiere Chromium en la implementación. OpenCat llama a GPU y FFmpeg de forma nativa, con un límite de rendimiento un orden de magnitud superior.
Capacidades
Animación declarativa, API de nivel GSAP
// Línea de tiempo declarativa — escena A de examples/k3-promo/k3-promo.jsx
ctx.timeline()
.set('azoom', { scale: 1.07 }, 0.933)
.to('azoom', { scale: 0.9417, duration: 3.667, ease: 'none' }, 0.933)
.to(['afield', 'afieldp'], { opacity: 0.35, duration: 0.4333, ease: 'power1.inOut' }, 1.9667)
.fromTo('apwrap', { opacity: 0 }, { opacity: 1, duration: 0.2, ease: 'power1.inOut' }, 3.03);
// SplitText oficial (el paquete que trae gsap): los wrappers son nodos reales
var chars = new SplitText(ctx.getNode('otxt'), { type: 'chars' }).chars;
var tl = gsap.timeline();
chars.forEach(function (p, i) {
tl.set(p, { opacity: 0 }, 7.35)
.set(p, { opacity: 1 }, 7.5333)
.fromTo(p, { x: (i - 6.5) * 21 }, { x: 0, duration: 0.43, ease: 'power2.out' }, 7.5663);
});
Líneas de tiempo multi-escena + transiciones
<tl id="main-tl">
<Scene1 /> {/* duration="4" en su raíz */}
<transition from="scene1" to="scene2" effect="fade" duration="0.6" />
<Scene2 /> {/* duration="4" en su raíz */}
</tl>
Cada escena es un componente cuyo nodo raíz lleva el duration. Los hooks de una escena se enlazan al reloj de esa escena, así que ctx.current.time empieza en 0 cuando la escena se vuelve visible: sin llevar la cuenta manual de tiempos de inicio, y las transiciones no lo desplazan.
Integrado: fade / slide / wipe / clock_wipe / iris / light_leak, con soporte para shaders GLSL personalizados.
Componentes — bloques reutilizables
Cualquier función JSX es un componente. k3-promo extrae seis bloques compartidos del árbol de nodos: los props sustituyen a los antiguos parámetros de plantilla:
function StageCanvas({ id }) {
return <canvas id={id} class="absolute inset-0 w-[1920px] h-[1080px]" />;
}
function Cdot({ id, s, c }) {
return <div id={id} class={'absolute w-[' + s + '] h-[' + s + '] bg-[' + c + ']'} />;
}
// los puntos de llamada solo pasan las diferencias
<StageCanvas id="afield-canvas" />
<Cdot id="a-tl" s="13px" c="#d8d8da" />
Los componentes se componen anidando, y props.children compone contenido desde el punto de llamada:
function Card({ bg, title, children }) {
return <div class={'w-[400px] rounded-xl p-6 ' + bg}>
<text class="text-[20px] font-bold">{title}</text>
{children}
</div>;
}
<Card bg="bg-white" title="Hello">
<text class="text-gray-500">Contenido de la tarjeta.</text>
</Card>
Renderizado WASM en el navegador
import { initWasm, preloadAssets, getRendererOrThrow, exportMp4 } from 'opencat-web';
await initWasm();
const catalog = await preloadAssets(jsxContent);
const renderer = getRendererOrThrow();
renderer.build_frame(jsxContent, frameNumber, canvas, catalog);
await exportMp4({ /* ... */ });
WASM y CanvasKit puros, sin servidor necesario.
HTML en Canvas — Muestreo de Textura de Subárbol
El contenido de un subárbol de un nodo <canvas> puede texturizarse en vivo y alimentarse a un efecto por píxel. Los efectos se escriben como lambdas de JS (compiladas, nunca ejecutadas — Rust analiza el código, lo baja automáticamente a SKSL o lo despacha al renderizador de CPU, y no codifica rígidamente ningún algoritmo de efecto). Los objetivos offscreen (ly.surface) guardan datos que se construyen una vez y se muestrean por fotograma. La ruta ly no expone ningún CanvasKit — sin Paint, sin drawRect, sin TileMode; el motor elige Skia o CPU según la capacidad del kernel. La escena H de examples/k3-promo/k3-promo.jsx construye todo su campo de distancia de disolución en JS:
// 1) rasteriza el lockup una sola vez en un objetivo offscreen
var ox = ly.surface(1920, 1080);
ox.fillStyle = '#fff'; ox.fillText('K3. Now Open', 962, 586);
// 2) siembra una máscara + campo de distancia — kernel pixel que muestrea
// ese objetivo como source
var field = ly.surface(1460, 222);
const seed = ly.pixel((uv, src) => {
const c = src.eval(uv + [232, 430]);
const m = byte(c.a * 255 + 0.5);
const d = m > 120 ? 0 : 3000; // R=mask, G/B=dist lo/hi
return [m / 255, d % 256 / 255, floor(d / 256) / 255, 1];
});
field.apply(seed, { sources: [ox] });
// 3) barridos chamfer — lambda de clase scan, in situ; get(dx,dy) lee el búfer en
// progreso y el ejecutor posee el orden de recorrido (forward/backward)
field.sweep(ly.scan((get) => {
const at = (n) => byte(n.g * 255 + 0.5) + byte(n.b * 255 + 0.5) * 256;
const c = get(0, 0), d = at(c);
const m = min(min(d, at(get(-1, 0)) + 3), min(at(get(0, -1)) + 3,
min(at(get(-1, -1)) + 4, at(get(1, -1)) + 4)));
return [c.r, m % 256 / 255, floor(m / 256) / 255, 1];
}, { dir: 'forward' }));
// 4) cada fotograma: dibuja un kernel pixel que muestrea el campo directamente
var DIS = ly.pixel((uv, field, u) => {
const c = field.eval(uv);
const d = (byte(c.g * 255 + 0.5) + 256 * byte(c.b * 255 + 0.5)) / 3;
/* ruido scramble · dust · glow → RGBA straight */
}, { uniforms: { x0: 'float', f: 'float', ep: 'float', pa: 'float4' } });
ly.draw(canvas, DIS, {
rect: [232, 230, 1460, 222],
uniforms: { x0: 232, f: 420, ep: 60, pa: [.9, .8, .7, .3] },
sources: [field],
});
Cualquier subárbol HTML: diseño, imágenes, texto, video → textura → shader → salida. Los búferes de píxeles nunca cruzan el puente JS y el lado Rust solo tiene un ejecutor genérico: target.apply reescribe con un kernel pixel, target.sweep recorre in situ con un kernel scan y ly.draw hornea el objetivo bajo demanda para la ruta de dibujo. Si necesitas control directo de SKSL, los shaders escritos a mano con CK.RuntimeEffect.Make(sksl) siguen funcionando. Referencia: examples/k3-promo/k3-promo.jsx escena H; guía: skills/opencat-creator/references/canvaskit.md.
Más
- CSS estándar:
class="flex items-center justify-center gap-4"se compila a CSS puro con tailwindcss y se ejecuta en el motor CSS integrado (selectores, cascada, var/calc/color-mix); el atributostyleacepta declaraciones completas - Mezcla de audio: multi-pista, adjunto a la escena, mezcla automática a la salida
- Motor de subtítulos: análisis de SRT, visualización persistente entre escenas
- SVG: canales de archivo (
src) y marcado en línea (inline), escalado a la caja del nodo - Renderizado determinista:
value = f(time), consistente entre máquinas
Inicio rápido
# Renderizar MP4 (el spot de arriba)
cargo run --bin opencat -- examples/k3-promo/k3-promo.jsx
# Visor de vista previa de escritorio (macOS / Windows / Linux)
cargo run --bin opencat -- view path/to/input.jsx
Web (WASM):
cd crates/opencat-web/web && npm run build, requiere un entornoCross-Origin-Isolated.
Alineación Engine / Web (métricas de píxel k3diff)
Métricas de píxel duras (mae/maxd/p8, no SSIM); el veredicto lo da tools/k3diff.py: renderice ambos lados a MP4 y compare los videos. Lado nativo: opencat render. Lado web: crates/opencat-web-oracle maneja la página de harness sin cabeza vía ChromeDriver (fachada wasm + CanvasKit) y devuelve un MP4 H.264 por rango; compárelo contra el render nativo o el video de referencia original.
# 1) construir la fachada web (wasm + JS + web-demuxer.wasm → dist/)
cd crates/opencat-web/web && npm run build && cd -
# 2) multimedia usada por las composiciones del oráculo (carga http://127.0.0.1:8080/...)
# sirva su árbol de mp4/png/mp3 en :8080
Arquitectura
JSX ──→ Taffy layout ──→ Skia render ──→ encode → MP4
↑
V8 animation scripts
Doble pipeline: Rust (GPU) + FFmpeg → MP4 | WASM + CanvasKit (WebGL) → Canvas / MP4
Renderizado incremental: Resolve → Layout → Display, Merkle Tree omite subárboles sin cambios + reutilización de Escena Snapshot sin costo.
opencat
├── crates/
│ ├── opencat-core/ # Layout (Taffy), text (cosmic-text), fonts
│ ├── opencat-engine/ # Skia render, FFmpeg encode, V8 script
│ ├── opencat-web/ # WASM: browser render + export
│ └── opencat/ # CLI entry
├── web/ # Web video editor
└── examples/ # Example JSX files
Compilar desde el código fuente
Requisitos previos
Toolchain de Rust (edición 2024). Instala mediante rustup:
rustup install nightly # edition 2024 requires nightly as of early 2025Bibliotecas de desarrollo de FFmpeg (para codificación MP4). La crate
ffmpeg-nextdetecta FFmpeg mediantepkg-config, no se necesita configuración manual de ruta en sistemas estándar.Linux (Ubuntu / Debian)
sudo apt install \ libavcodec-dev libavformat-dev libavutil-dev \ libavfilter-dev libswscale-devVersión mínima: FFmpeg 6.x. Verificar:
ffmpeg -versionEn este sistema: FFmpeg 7.1.1 está instalado y todos los paquetes de desarrollo están presentes.
macOS
brew install ffmpegHomebrew instala ffmpeg en
/opt/homebrew(Apple Silicon) o/usr/local(Intel). ConfiguraFFMPEG_DIRpara que apunte al prefijo de Homebrew:# Apple Silicon (M1/M2/M3/M4) export FFMPEG_DIR=/opt/homebrew # Intel Mac export FFMPEG_DIR=/usr/localSi
pkg-configno puede encontrar automáticamente las bibliotecas de ffmpeg, configuraFFMPEG_DIRpara especificar la ruta. Añade la exportación a la configuración de tu shell (~/.zshrc/~/.bashrc) para que persista.Verificar:
ls $FFMPEG_DIR/lib/libavcodec.*Windows
Descarga los paquetes de desarrollo de FFmpeg desde gyan.dev o
vcpkg install ffmpeg. Luego configura:$env:FFMPEG_DIR = "C:\path\to\ffmpeg"Bibliotecas de desarrollo de OpenGL / EGL (Linux, para renderizado GPU de Skia):
sudo apt install libegl-dev libgles-dev libgl1-mesa-dev libx11-devmacOS proporciona Metal a través del SDK del sistema (sin instalación manual). Windows proporciona OpenGL a través del controlador del sistema.
opencat view(el visor de vista previa de escritorio) crea su contexto GL vía EGL en Linux, coincidiendo con el backend de Skia precompilado. Actualmente requiere un identificador de ventana X11, por lo que en una sesión Wayland se ejecuta a través de XWayland (configuraWAYLAND_DISPLAY=solo si la selección automática falla). El soporte nativo de Wayland (wl_surface) aún no está conectado.Biblioteca de desarrollo de Fontconfig (Linux):
sudo apt install libfontconfig-dev
Windows: dos flags de enlazador obligatorios
Los binarios precompilados de Skia y V8 se construyen con runtimes de C incompatibles, así que un cargo build normal en Windows falla al enlazar. Ambas correcciones van en ~/.cargo/config.toml (o .cargo/config.toml dentro del repositorio):
[target.x86_64-pc-windows-msvc]
rustflags = [
"-C", "link-arg=/STACK:16777216",
"-C", "link-arg=/FORCE:MULTIPLE",
]
/STACK:16777216 — el script de construcción de ffmpeg-sys-next ejecuta bindgen sobre todo el conjunto de cabeceras de FFmpeg, cuya recursión supera el tamaño de pila por defecto de 1 MiB del hilo principal en Windows (SizeOfStackReserve en la cabecera PE). Sin este flag el script de construcción muere con STATUS_STACK_OVERFLOW (código de salida 0xc00000fd).
/FORCE:MULTIPLE — rusty_v8.lib lleva una directiva /DEFAULTLIB:libcmt.lib (CRT estática); skia.lib lleva /DEFAULTLIB:msvcrt.lib + msvcprt.lib (CRT dinámica). Ambas directivas están fijadas dentro de los binarios precompilados y no se pueden cambiar con features de Cargo ni variables de entorno. Cada biblioteca define su propio std::terminate, así que el enlazador falla con LNK2005 / LNK1169. Este flag le indica al enlazador que elija una implementación en lugar de dar error.
Riesgo conocido: las dos implementaciones de STL se mezclan en un mismo ejecutable. El renderizado normal y el
try/catchde JS están verificados y funcionan, pero el comportamiento de las excepciones de C++ que cruzan entre Skia y V8 es indefinido. Si sufres cierres inexplicables, sospecha primero de este flag. La solución limpia es compilar V8 desde el código fuente con CRT dinámica (EXTRA_GN_ARGS="is_component_build=true"), lo que tarda horas y aún no está integrado.
Skia
Skia se incluye a través de skia-safe con la feature binary-cache habilitada. Esto hace que skia-bindings descargue un binario de Skia precompilado en tiempo de construcción, sin necesidad de compilación local o descarga de paquete estático.
- Linux: backend
gl(OpenGL) - macOS: backend
metal(Metal) - Extra:
skottiepara soporte de animaciones Lottie
Los binarios precompilados se almacenan en caché en ~/.cargo/skia-binaries/ tras la primera construcción.
Comandos de construcción
CLI (renderizado MP4):
cargo build --release --bin opencat
El binario se encuentra en target/release/opencat. Renderiza un video:
cargo run --release --bin opencat -- examples/k3-promo/k3-promo.jsx
Visor de vista previa de escritorio (macOS / Windows / Linux):
cargo run --release --bin opencat -- view path/to/input.jsx
Web (WASM):
cd crates/opencat-web && npm run build
Requiere wasm-pack y un entorno Cross-Origin-Isolated para ejecutarse.
Verificación
Verifica que la construcción haya detectado las versiones correctas de FFmpeg y Skia:
cargo run --bin opencat -- --version
No se necesitan las variables de entorno ffmpegDir o SKIA_BINARIES_URL en una configuración estándar, todo se resuelve a través de pkg-config y la feature binary-cache. Si usas una ruta no estándar de FFmpeg, configura FFMPEG_DIR antes de compilar.
A quién va dirigido
- Tuberías de video con IA: el modelo genera JSX, el motor renderiza el video, costo de integración mínimo
- Aplicaciones Web: renderizado/edición de video en el navegador, sin necesidad de servidor
- Animación procedural: renderizado acelerado por GPU determinista, consistente entre máquinas
- Producción por lotes: video basado en componentes, cambiar props = otro video
Referencias
- Referencia de formato JSX
- Sistema de Animación
- Transiciones
- API de Canvas
- Escenas Three.js
- Plantillas
- Principios de Diseño
Comunidad
- Errores / Solicitudes de funciones → Abrir un Issue
- Discusión en Linux Do → Comunidad OpenCat
Historial de Estrellas
Licencia
Licencia MIT