Skip to content
项目

neoteai/N0-VTLA has 204 GitHub stars and 11 forks. GitHot measured 0 stars in 24 hours. Last checked 2026-11-18 23:29 UTC. Last push 2026-08-17.

这些数字如何统计

可以做什么

  • Post-train the pretrained checkpoint on your own visuo-tactile demonstrations with train.sh. See POST_TRAINING.md.
  • Convert your episodes to the canonical 32-dim layout and compute normalization statistics (scripts/convert_canonical_data.py, scripts/compute_canonical_norm.py).
  • Serve a policy over websocket for a real robot, or over ZMQ for the simulator (scripts/serve_policy.py, scripts/serve_zmq.py). See DEPLOY.md.
  • Check that the tactile pathway is doing something, and that the model stays byte-equivalent to the base policy with tactile off (scripts/probe_z_tactile_dependence.py, scripts/gate_c_check.py).

实测星标增长

24小时
0
7天
正在收集历史
15天
正在收集历史
1个月
正在收集历史

各周期内的星标净变化,周期相互重叠,并非每日新增。缺失的测量保持空白。星标代表关注度,不代表软件质量。

关于

N0-VTLA: Scaling Vision-Tactile-Language-Action Model with Latent Tactile Tokens

开发工具

README_CN.md

原文

𝒩₀-VTLA

用潜在触觉 Token 扩展视觉-触觉-语言-动作模型

English  ·  中文

Project Page Paper Weights License: CC BY-SA 4.0 Python 3.11

🔥 𝒩₀-VTLA 已正式发布!🔥

预训练 checkpoint、后训练工具链和推理服务现已开放。

N0-VTLA

$\mathcal{N}_0$-VTLA 是一个视觉-触觉-语言-动作策略,为预训练的视觉-语言-动作(VLA)模型加上触觉。 它不把触觉图像当作额外的相机流送入视觉塔,而是预测潜在触觉 token,即对未来一个动作块内接触 变化的紧凑编码,并直接以此为条件驱动 flow matching 动作专家。力、滑动、以及“对准”与“卡住”的 区别,在视觉上往往很微弱,但触觉能直接观测到;潜在触觉通路把这个信号交给策略。

本仓库发布模型、后训练工具箱和推理服务端,你可以加载我们的预训练权重,把 $\mathcal{N}_0$-VTLA 适配到自己的机器人和任务上。大规模预训练流程不包含在内。

功能

  • 在你自己的视触觉演示数据上后训练预训练 checkpoint(train.sh)。详见 POST_TRAINING.md。
  • 把 episode 转换成 canonical 32 维表示并计算归一化统计(scripts/convert_canonical_data.py、scripts/compute_canonical_norm.py)。
  • 通过 websocket 为真机部署策略,或通过 ZMQ 为仿真部署(scripts/serve_policy.py、scripts/serve_zmq.py)。详见 DEPLOY.md。
  • 检查触觉通路是否真的在起作用,以及关闭触觉时模型是否与基础策略字节等价(scripts/probe_z_tactile_dependence.py、scripts/gate_c_check.py)。

模型概要

组件 选择
主干 PaliGemma(gemma_2b)prefix + Gemma(300m)动作专家
目标函数 50 步动作块上的 flow matching
触觉编码器 冻结的 DINOv2(facebook/dinov2-base),输入为基线差分图像
触觉通路 Cross-attention 预测器 → 5 个潜在 token,注入动作专家
动作空间 Canonical 32 维容器(双臂 EEF 位置 + rot6d + 夹爪)
精度 bf16 参数,eager attention 以对齐预训练计算路径


每帧触觉图像先与零接触基线做差,经冻结的 DINOv2 编码,再蒸馏成若干潜在 token, 概括未来一个动作块内的接触变化。

触觉通路默认关闭,且关闭时与基础策略字节等价,因此在打开触觉分支之前,$\mathcal{N}_0$-VTLA checkpoint 的加载与运行和标准基础策略完全一致。scripts/gate_c_check.py 会在 state_dict 键、前向 loss 和采样 动作三个层面断言这一等价性。

目录结构

N0-VTLA/
├── n0vtla/                 # 模型包
│   ├── models_pytorch/     # N0VTLAPolicy、触觉编码器/预测器、transformers_replace
│   ├── policies/           # 各形态的输入输出变换、canonical schema
│   ├── training/           # 配置、数据加载、优化器
│   └── transforms.py       # 归一化、delta 动作、tokenize
├── n0vtla_client/          # 机器人侧客户端库
├── scripts/                # 训练、服务、转换、验证
├── docs/                   # 安装、后训练、部署
└── train.sh                # 后训练启动脚本

安装

Python 3.11 + 支持 CUDA 的 GPU。transformers_replace 补丁与 DINOv2 缓存两步都是必需的, 完整流程见 INSTALL.md。

conda create -n vtla python=3.11 -y && conda activate vtla
pip install -r requirements.txt && pip install -e . --no-deps
cp -r n0vtla/models_pytorch/transformers_replace/* \
  "$CONDA_PREFIX/lib/python3.11/site-packages/transformers/"

📦 模型下载

Checkpoint 内容 配置
🤗 n0-vtla-base 预训练底座,后训练的起点 vtla_tactile_posttrain
🤗 n0_VTLA_insert_hole UniVTAC 单臂策略,关节动作 sim_single_arm_tactile
🤗 n0_VTLA_dual_bowl_place_stack NeoSim 双臂策略,关节动作 sim_dual_arm_tactile
hf download NeoteAI/n0-vtla-base --local-dir checkpoints/n0-vtla-base
export VTLA_PRETRAINED_CHECKPOINT="$PWD/checkpoints/n0-vtla-base"

VTLA_PRETRAINED_CHECKPOINT 必须指向直接包含 model.safetensors 的目录。

底座权重是用于后训练的预训练底座,不是可直接部署的策略。它带有任务策略所需的触觉编码器、 潜在触觉预测器和投影参数,但没有在任何任务上微调过。

快速开始:在自己的数据上后训练

export VTLA_DATASET_PATH=/path/to/datasets/canonical_tactile_task
export VTLA_ASSET_ID=canonical_tactile_task
export EXP_NAME=my_experiment

CHECK_ONLY=1 bash train.sh     # 预检:GPU 数、checkpoint、数据集、norm 统计、DINOv2 缓存
bash train.sh --overwrite

转换 episode、计算归一化统计、配置、训练这四步的完整说明,连同 canonical 32 维布局和常见问题, 都在 POST_TRAINING.md。

推理服务

# 真机,websocket
python scripts/serve_policy.py \
  --policy.config=vtla_tactile_posttrain \
  --policy.dir=checkpoints/vtla_tactile_posttrain/<实验名>/<训练步>

# UniVTAC 仿真,ZMQ
VTLA_ASSET_ID=n0_insert_hole_norm python scripts/serve_zmq.py \
  --config sim_single_arm_tactile \
  --ckpt checkpoints/n0_VTLA_insert_hole \
  --addr "tcp://*:5557" --default-prompt "insert hole"

请完整执行返回的动作块后再请求下一次预测。执行步长不足会丢掉每个块的尾部,而夹爪闭合指令 正在尾部。详见 DEPLOY.md。

主要特性

  • 预测触觉,而非像素。 触觉证据以少量预测出的潜在 token 进入策略,表示即将发生的接触变化, 而不是把原始图像塞进视觉塔解码。
  • 基线差分输入。 每帧触觉图像减去该回合的零接触基线,编码器看到的是接触变化而非原始凝胶图像。
  • 零初始化门控。 潜在 token 经一个从零开始的门注入动作专家,训练从基础策略的行为精确起步, 触觉通道逐步打开。
  • 多机器人共用一个动作空间。 固定的 32 维容器让单臂、双臂和手持夹爪三类形态共享同一个动作目标。

NeoData 上的大规模预训练、三阶段训练配方、部署期(RL)改进流程以及实验结果,均见 论文。

引用

@misc{n0vtla2026,
      title={$N_0$-VTLA: Scaling Vision-Tactile-Language-Action Model with Latent Tactile Tokens}, 
      author={NeoteAI Team and Fudan TEAI Team},
      year={2026},
      eprint={2607.23782},
      archivePrefix={arXiv},
      primaryClass={cs.RO},
      url={https://arxiv.org/abs/2607.23782}, 
}

致谢

$\mathcal{N}_0$-VTLA 构建于 OpenPI 框架之上, 触觉编码使用 DINOv2,数据处理使用 LeRobot。

许可

本仓库的原创内容基于 CC BY-SA 4.0 发布。第三方组件保留其原有许可: Apache-2.0 组件已在 NOTICE 中列明,完整许可文本见 LICENSES/Apache-2.0.txt。

模型权重不适用该许可。 发布的 $\mathcal{N}_0$-VTLA 权重派生自 Google 的 PaliGemma/Gemma 参数,因此按 Gemma Terms of Use 与 Gemma Prohibited Use Policy 提供。这一约束 继承自基座模型,并非我们额外附加。