Skip to content
项目

rzc156/dreamforge has 130 GitHub stars and 3 forks. GitHot measured 0 stars in 24 hours and 0 in 7 days. Last checked 2026-11-17 22:44 UTC. Last push 2026-10-12.

这些数字如何统计

实测星标增长

24小时
0
7天
0
15天
更新延迟
1个月
更新延迟

各周期内的星标净变化,周期相互重叠,并非每日新增。缺失的测量保持空白。星标代表关注度,不代表软件质量。

关于

Turn world-model imagination into corrective training data for robot policies — a single-GPU, falsifiable pipeline (SmolVLA · LIBERO · CEM · paired simulator replays).

机器学习

README_zh.md

原文
dreamforge — 把世界模型想象变成可训练的纠错数据

dreamforge

把世界模型的"想象"变成机器人策略的纠错训练数据。

单卡可跑、端到端、可证伪:每一条想象出来的动作,都会先在真实仿真器里回放验证,再决定是否值得用作训练数据。

License: MIT Python 3.10+ PyTorch LIBERO SmolVLA Single GPU Tests CI

English · 中文 · 协议 · 结果 · 仪表盘


为什么做这个

前一项受控研究证明:对一个已经很强的 flow-matching VLA,测试时动作选择(采样多个候选动作块、让世界模型挑一个)几乎没有余量,且世界模型的离线打分不能代理决策质量。

于是自然的问题:

如果想象不能用于选择,那能不能用于教?

dreamforge 端到端回答它:挖掘策略自身的失败状态 → 用潜空间世界模型 CEM 搜索纠错动作块 → 把精确仿真状态回放一遍做验证 → 再决定是否值得拿去做微调数据。

dreamforge 管线:mine → imagine → verify → build → train → eval

主要结果

LIBERO-Spatial · SmolVLA-450M · 150 回合采矿 → 360 个失败状态 · 1080+ 次配对仿真回放 · 单张 RTX 5080。完整记录见 docs/results.md。

实验 结果
世界模型预检(diagnose) 未正则化 WM 动作响应 0.0003 vs 动作敏感版 0.0163(~50×)
想象进度(CEM) 0.480 → 0.500(+0.020)
纠错的真实价值(360 配对状态) none 9.4% · imagined 13.6% · random 14.7%
imagined vs none +4.2pp,exact McNemar p = 0.032
imagined vs 等预算随机 −1.1pp,p = 0.61 —— 世界模型的"方向"没有价值
用纠错数据微调(ft_all) 57.0% vs 基线 61.0% vs 对照 58.0%(p = 1.0)
把纠错集中在"指标最看好"的开局(ft_early) 45.0% —— 比对照还低 13pp(p = 0.041)
这说明什么(展开)

世界模型想象确实能改变结果,但与同尺度的随机扰动没有差别,训练侧也不优于"只用专家数据回放"的对照。更反直觉的是:把纠错数据集中到决策点指标最看好的位置,反而显著变差——因为那些状态并非必然失败(策略在同一初始状态上多数是成功的),在这些状态上模仿"扰动"会覆盖本来正确的行为。

由此得到的可操作准则,也是本仓库的重点: 上线世界模型前,先(1)测它的动作响应,(2)与等预算随机扰动做对照,(3)不要把决策点指标当训练信号。

交互式仪表盘

每次运行都能从工件生成一个自包含 HTML 仪表盘(无 CDN、无 JS),适合当报告、贴 PR 或挂 GitHub Pages。 页面内置纯 CSS 的中英切换(隐藏单选按钮 + 兄弟选择器),因此始终保持零脚本。

dreamforge 仪表盘(中文)

python -m dreamforge.dashboard --run runs/main --out results/dashboard.html

仓库内的成品见 results/dashboard.html(英文视图见 assets/dashboard.png)。

快速开始

pip install -e . --no-deps     # 本包只依赖 numpy + torch
pytest tests -q                # 10 项测试,纯 CPU

RUN=runs/main
python -m dreamforge.mine     --task libero_spatial --episodes 15 --out $RUN/mine
python -m dreamforge.diagnose --mine $RUN/mine --wms base aso --out $RUN/wm_diagnosis.json
python -m dreamforge.imagine  --mine $RUN/mine --out $RUN/imagine --wm aso --delta-sigma 0.5
python -m dreamforge.verify   --mine $RUN/mine --imagine $RUN/imagine --out $RUN/verify \
                              --arms none imagined random --exec-horizon 16
python -m dreamforge.build    --mine $RUN/mine --imagine $RUN/imagine --out $RUN/build_all --filter all
python -m dreamforge.train    --samples $RUN/build_all --out $RUN/ft_all --steps 3000
python -m dreamforge.eval     --policy-path $RUN/ft_all --task libero_spatial --episodes 10 \
                              --out $RUN/eval_ft_all.json
python -m dreamforge.report   --run $RUN            # Markdown + 图表
python -m dreamforge.dashboard --run $RUN           # HTML 仪表盘

命令一览

命令 作用
mine 跑基线策略,记录每个决策点(观测、动作块、精确仿真状态、结局)
imagine 潜空间世界模型上的 CEM;按维度 0.5σ 信任域,以策略自身的动作为种子
verify 同状态三臂配对回放:none / imagined / random,随后交回原策略
build 纠错数据集:all / gained(世界模型打分)/ lifted(仿真验证),支持按决策步过滤
train 用纠错数据 + 专家回放微调 SmolVLA(flow matching)
eval 配对闭环评测(Wilson 区间 + exact McNemar)
report / dashboard Markdown 报告 + 自包含 HTML 仪表盘
diagnose 世界模型预检:它到底会不会对动作做出响应?
figures 论文风格图表

目录结构

src/dreamforge/
  wm.py         潜空间世界模型 + 进度头
  cem.py        CEM 规划器(信任域、数据集原始动作空间)
  envs.py       LIBERO 环境封装 —— 精确 MuJoCo 状态存取
  policy.py     SmolVLA 加载与观测/动作管线
  mining.py     阶段1  ·  imagine.py 阶段2  ·  verify.py 阶段3
  dataset.py    阶段4  ·  finetune.py 阶段5  ·  evaluate.py 阶段6
  report.py     配对统计   ·  dashboard.py  HTML 界面
  figures.py    绘图       ·  diagnose.py   世界模型预检
  stats.py      Wilson / exact McNemar
assets/         横幅、管线图、仪表盘截图
docs/           protocol.md · results.md · resume.md(求职材料)
results/        精选可查证工件(报告、图表、配对记录、评测)
scripts/        run_main.sh · run_training.sh · run_ladder.sh · probe_env.py
tests/          统计 · CEM(含信任域)· 数据过滤

设计原则

  1. 先测量再下结论:纠错动作必须在仿真器回放;none 组复现原回合,作为配对比较的锚点。
  2. 控制预算:任何"模型指导"的结果都与同尺度随机扰动对照。
  3. 统计匹配设计:配对 exact McNemar、Wilson 区间、按 episode 聚合(防伪重复)。
  4. 让静默 bug 大声暴露:靠这套纪律抓出并修复了三个真实问题——无约束 CEM 产生的 OOD 动作(归一化目标 ×6)、状态双重归一化、checkpoint 未随处理器管线保存。

路线图

  • 用多个训练种子复现"定向纠错导致下降"
  • 大偏差预算扫描(大随机扰动有害;大的模型指导偏差是否有效?—— 未解机理问题)
  • 第二个任务套件 / 基策略,以及视频世界模型
  • verify 多进程并行(trial 是 CPU 瓶颈)

引用与致谢

潜空间世界模型、CEM 接口与评测协议改编自作者此前的科研项目(near-zero-headroom,论文在审),已获授权复用。使用本仓库请参考 CITATION.cff。

许可

MIT —— 见 LICENSE。