Skip to content
项目

kepengxu/PRISM-VL has 852 GitHub stars and 14 forks. GitHot measured 0 stars in 24 hours. Last checked 2026-11-19 11:53 UTC. Last push 2026-05-27.

这些数字如何统计

实测星标增长

24小时
0
7天
正在收集历史
15天
正在收集历史
1个月
正在收集历史

各周期内的星标净变化,周期相互重叠,并非每日新增。缺失的测量保持空白。星标代表关注度,不代表软件质量。

关于

PRISM-VL studies measurement-grounded VLM learning with RAW-derived Meas.-XYZ inputs, camera-conditioned grounding, and exposure-bracketed supervision transfer.

学习资源

README_CN.md

原文

PRSIMVL logo

PRSIMVL

Allegory of the Cave: Measurement-Grounded Vision-Language Learning

Kepeng Xu · Li Xu · Gang He · Wenxin Yu

项目主页 · arXiv:2605.11727 · MeasL-Bench-V1 · MeasL-150K-V1 · 权重 · English

Method Input Benchmark Training Backbone Adapters

PRSIMVL 是一个面向测量域视觉语言学习的研究发布版本。它关注一个直接但重要的问题:当 RGB 渲染已经丢失传感器证据时,VLM 是否可以从测量域观察中获得更可靠的推理能力?

PRSIMVL 保留 Qwen3-VL 的训练、推理和评估流程,但将视觉观察接口从 ISP 后的 RGB 前移到 RAW 派生的 Meas.-XYZ,并结合 ISO、曝光时间、光圈等相机元数据进行 grounding。本 release 包含 benchmark、训练集、评估 pipeline、service demo 和 LoRA checkpoints。

PRSIMVL framework

30 秒摘要

项目 内容
核心思想 使用 RAW 派生的 Meas.-XYZ 和拍摄元数据,缓解 RGB 渲染裁剪、降噪、tone mapping、量化带来的证据损失。
Benchmark MeasL-Bench-V1,2,183 条 held-out matched examples,覆盖 14 个测量敏感能力切片。
训练集 MeasL-150K-V1,152,517 条 instruction-tuning 样本,引用 48,000 个 release images。
模型 Qwen3-VL 2B、4B、8B,对应 PRSIMVL LoRA adapters,权重托管在 Hugging Face。
主要结果 PRSIMVL-8B 相比 RGB Qwen3-VL-8B 在 MeasL-Bench 上提升 +0.1074 BLEU、+0.1071 ROUGE-L 和 +4.46 LLM-Judge points。

从这里开始

目标 入口 说明
问一张图 inference/README.md 启动 swift deploy,用 ask_service.py 发送本地图像和问题。
跑 benchmark eval/README.md 评估 Meas.-XYZ 或 matched RGB split。
看评估数据 eval_data/README.md Dataset card、taxonomy、schema、HF loading snippet、路径规则。
看训练数据 training_data/README.md Dataset card、发布内容、质量控制、registry aliases。
看 release 范围 RELEASE_MANIFEST.md 说明 release 中包含、裁剪和需要恢复的大文件。

快速开始

安装 release snapshot:

git clone <repo-url> PRSIMVL
cd PRSIMVL
bash install_editable.sh

先 dry-run,检查命令而不启动模型推理:

MODEL_SIZE=2b CUDA_VISIBLE_DEVICES=0 bash eval/run_infer_and_eval.sh --dry-run

运行一个 PRSIMVL adapter 的默认 Meas.-XYZ benchmark:

MODEL_SIZE=2b CUDA_VISIBLE_DEVICES=0 bash eval/run_infer_and_eval.sh

大体积 artifacts 需要放在 release-local 路径:

eval_data/       # MeasL-Bench-V1 JSONL + image/
training_data/   # MeasL-150K-V1 JSONL + image/
exps/            # released LoRA adapters

公开数据集位于 Hugging Face:MeasL-Bench-V1 用于评估,MeasL-150K-V1 用于训练。Released LoRA 权重托管在 kepeng/PRSIMVL-LoRA-V1;完整 adapter 推理或评估前,需要将其恢复到 exps/。

为什么需要测量域 Grounding

RGB 是面向显示的人类可视化结果,不是相机最初记录的物理测量。ISP 过程中的裁剪、降噪、tone mapping 和量化可能会在模型看到图像前移除关键证据。PRSIMVL 将相机测量作为一等观察对象:Meas.-XYZ 保留 RAW 派生的线性三通道信息,元数据提供拍摄上下文。

下面的低照文本案例展示了 RGB 与 Meas.-XYZ 的差异:RGB 可能暴露错误证据,而 Meas.-XYZ 保留了可恢复的答案区域。

Case RGB Observation Meas.-XYZ Observation
Illuminated shop name
RGB answer: Hua Tian Hua (wrong)

PRSIMVL answer: Zhengmei Dental Clinic
Yellow sign text
RGB answer: diamond (wrong)

PRSIMVL answer: BLACK

局部证据 crop:

RGB crop Meas.-XYZ crop RGB crop Meas.-XYZ crop

主结果

下表汇报 held-out MeasL-Bench protocol。BLEU 和 ROUGE-L 是文本指标,LLM-Judge 以准确率百分比汇报。

Model Visual Input BLEU ROUGE-L LLM-Judge
Qwen3-VL-2B RGB 0.3407 0.3171 69.54
Qwen3-VL-4B RGB 0.4442 0.3453 77.37
Qwen3-VL-8B RGB 0.5046 0.3500 78.20
PRSIMVL-2B Meas.-XYZ + metadata 0.5865 0.4244 77.99
PRSIMVL-4B Meas.-XYZ + metadata 0.6021 0.4465 80.83
PRSIMVL-8B Meas.-XYZ + metadata 0.6120 0.4571 82.66

Capability radar

主要提升场景

Capability RGB Qwen3-VL-8B BLEU / ROUGE-L PRSIMVL-2B BLEU / ROUGE-L
HDR Evidence Recovery (HER) 0.5343 / 0.3614 0.6066 / 0.4533
Low-Illumination Evidence Recovery (LER) 0.3470 / 0.2851 0.5174 / 0.4249
Scene Text Recognition (STR) 0.3719 / 0.3604 0.5084 / 0.4669
General Visual Grounding (GVG) 0.5109 / 0.3644 0.6117 / 0.4505
Agent and Entity Identification (AEI) 0.5304 / 0.4332 0.6210 / 0.5307
Binary Visual Verification (BVV) 0.5367 / 0.3580 0.6186 / 0.3732

Release 内容

Artifact 位置 说明
Benchmark eval_data/ 和 HF Matched Meas.-XYZ/RGB JSONL files 和 3,812 张图像。
训练数据 training_data/ 和 HF 152,517 条 instruction-tuning 样本和 48,000 张图像。
Demo 推理 inference/ 面向本地图像的 OpenAI-compatible swift deploy service demo。
评估入口 eval/ 可复现的 MeasL-Bench 推理和离线评估入口。
训练配置 configs/qwen3_vl_150k_llmmeta_vit_proxy/ 2B、4B、8B 的 launch scripts 和 SFT configs。
Released adapters exps/ 和 HF Qwen3-VL 2B、4B、8B 的 LoRA checkpoints。

数据集

MeasL-Bench-V1

MeasL-Bench-V1 是面向测量域语言视觉评估的 held-out benchmark。

File Rows / Files Purpose
eval_data/test-raw-measl-bench.jsonl 2,183 rows Main Meas.-XYZ benchmark。
eval_data/test-rgb-measl-bench.jsonl 2,183 rows Matched RGB benchmark。
eval_data/image/ 3,812 files 两个 JSONL 共同引用的图像文件。

JSONL 图片路径使用 eval_data/image/...。如果直接从 Hugging Face dataset repository root 读取,需要去掉前缀 eval_data/。

MeasL-150K-V1

MeasL-150K-V1 是发布版 instruction-tuning corpus。

File Rows / Files Purpose
training_data/train-measl-150k-v1.jsonl 152,517 rows Final instruction-tuning set。
training_data/image/ 48,000 files JSONL 引用的 release image subset。

训练集从约 700K 条自动标注候选构建,经打分过滤得到 518,433 条记录,再按来源和问题结构平衡,最终发布 152,517 条样本。发布前已去除与 MeasL-Bench 的严格 overlap。

Demo 推理

启动带 released adapter 的 OpenAI-compatible service:

conda activate msswiftv1_service
CUDA_VISIBLE_DEVICES=0 swift deploy \
  --model Qwen/Qwen3-VL-2B-Instruct \
  --adapters exps/BANALCED_150K_META_VIT_PROXY/output-Qwen3-VL-2B-Instruct/v8-20260421-133546/checkpoint-95000

另开终端提问:

conda activate msswiftv1_service
python inference/ask_service.py \
  --image inference/demo_data/images/demo1_pole_color.png \
  --question "This is a linear Image with Metadata: ISO: 250, Exposure Time: 1/640, Aperture: f/9. What is the color of the vertical pole visible through the windshield?"

更多 demo images、请求参数和排错说明见 inference/README.md。

评估

运行默认 Meas.-XYZ benchmark:

MODEL_SIZE=4b CUDA_VISIBLE_DEVICES=0 bash eval/run_infer_and_eval.sh

运行 matched RGB benchmark:

DATASET=rgb MODEL_SIZE=4b CUDA_VISIBLE_DEVICES=0 bash eval/run_infer_and_eval.sh

通过 OpenAI-compatible endpoint 开启 LLM-as-judge:

export JUDGE_API_KEY=YOUR_KEY
JUDGE_URL=https://openrouter.ai/api/v1 \
JUDGE_MODEL=openai/gpt-5 \
MODEL_SIZE=2b CUDA_VISIBLE_DEVICES=0 \
bash eval/run_infer_and_eval.sh

评估入口默认使用 eval_data/test-raw-measl-bench.jsonl 或 eval_data/test-rgb-measl-bench.jsonl。外部数据集或非标准图片路径才需要设置 DATASET_FILE 和 IMAGE_ROOT。完整说明见 eval/README.md。

训练

最终训练配置位于 configs/qwen3_vl_150k_llmmeta_vit_proxy/。

bash configs/qwen3_vl_150k_llmmeta_vit_proxy/train_prsimvl_2b.sh
bash configs/qwen3_vl_150k_llmmeta_vit_proxy/train_prsimvl_4b.sh
bash configs/qwen3_vl_150k_llmmeta_vit_proxy/train_prsimvl_8b.sh

对应配置文件:

  • sft_qwen3_vl_2b_prsimvl_v1.yaml
  • sft_qwen3_vl_4b_prsimvl_v1.yaml
  • sft_qwen3_vl_8b_prsimvl_v1.yaml

发布权重

PRSIMVL LoRA 权重托管在 Hugging Face:kepeng/PRSIMVL-LoRA-V1。本地 release 默认在 exps/BANALCED_150K_META_VIT_PROXY/ 下使用同样的 checkpoint 结构。

Size Base Model Local LoRA Checkpoint
2B Qwen/Qwen3-VL-2B-Instruct exps/BANALCED_150K_META_VIT_PROXY/output-Qwen3-VL-2B-Instruct/v8-20260421-133546/checkpoint-95000
4B Qwen/Qwen3-VL-4B-Instruct exps/BANALCED_150K_META_VIT_PROXY/output-Qwen3-VL-4B-Instruct/v12-20260425-113029/checkpoint-85000
8B Qwen/Qwen3-VL-8B-Instruct exps/BANALCED_150K_META_VIT_PROXY/output-Qwen3-VL-8B-Instruct/v2-20260423-205317/checkpoint-95000

项目结构

PRSIMVL/
├── assets/                       README figures and qualitative examples
├── eval/                         Benchmark inference and evaluation entrypoint
├── inference/                    Service-based VQA demo
├── eval_data/                    MeasL-Bench-V1 artifact folder
├── training_data/                MeasL-150K-V1 artifact folder
├── exps/                         Released LoRA adapters
├── configs/qwen3_vl_150k_llmmeta_vit_proxy/
│   └── PRSIMVL v1 training configs and launch scripts
├── scripts/test_raw_eval_pipeline_opt/
│   └── shared inference/evaluation implementation
└── swift/, libs/                 Training and inference code snapshot

Release 说明

  • 数据集 license:CC BY-NC 4.0,仅允许非商业研究和教育使用,使用时需要引用。
  • 评估输出默认写入 eval/output_benchmark/。
  • 生成输出、转换工具和本地环境检查脚本已从 public release snapshot 中裁剪。
  • 贡献和发布规范见 CONTRIBUTING.md、CODE_OF_CONDUCT.md、RELEASE_CHECKLIST.md。

引用

论文: Allegory of the Cave: Measurement-Grounded Vision-Language Learning
项目主页: https://kepengxu.github.io/projects/prism-vl/
作者主页: https://kepengxu.github.io/

@misc{xu2026allegory,
  title         = {Allegory of the Cave: Measurement-Grounded Vision-Language Learning},
  author        = {Xu, Kepeng and Xu, Li and He, Gang and Yu, Wenxin},
  year          = {2026},
  eprint        = {2605.11727},
  archivePrefix = {arXiv},
  url           = {https://arxiv.org/abs/2605.11727}
}