Skip to content
项目

xyzzzh/Jag has 46 GitHub stars and 0 forks. GitHot measured 0 stars in 24 hours and +3 in 7 days. Last checked 2026-11-21 15:43 UTC. Last push 2026-10-24.

这些数字如何统计

实测星标增长

24小时
0
7天
+3
15天
正在收集历史
1个月
正在收集历史

各周期内的星标净变化,周期相互重叠,并非每日新增。缺失的测量保持空白。星标代表关注度,不代表软件质量。

关于

Jag: Direct Box Prediction for Efficient Visual Grounding

机器学习

README_zh.md

原文

Jag

Direct Box Prediction for Efficient Visual Grounding

论文 · PDF · 项目主页 · 模型 · 在线体验

English · 简体中文

Jag 框架

简介

Jag 是一个直接预测连续边界框的紧凑多模态模型。Jag 保留 Qwen3.5-0.8B 的图像与语言处理能力,用直接几何预测替代自回归坐标生成。

轻量 MLP 读取最后一个有效输入 token 的表征,一次前向预测归一化 cxcywh 坐标。训练使用 L1 和 GIoU 损失,先适配回归头,再联合微调语言主干、视觉 merger 和回归头,其余视觉编码器保持冻结。

训练使用 ModelScope ms-swift,评估使用 EvalScope,环境使用 Docker,可选 SwanLab 实时记录训练日志。

评估结果

IoU ≥ 0.5 时的准确率(%)。RefCOCO 和 RefCOCO+ 按样本数合并 testA、testB;RefCOCOg 使用 test。

模型 RefCOCO RefCOCO+ RefCOCOg
Base (Qwen3.5-0.8B) 79.74 70.10 77.96
NExT-Chat 83.68 75.67 79.28
LocateAnything 91.35 84.12 88.54
Jag 91.28 85.80 87.72

Jag 在五个测试划分上均超过 Base,并在三个划分上取得所比较模型中的最高准确率。详见分划分结果。

单请求端到端推理:

模型 延时 ↓ (ms) 吞吐 ↑ (样本/s) GPU 显存 ↓ (GiB)
Base 1293.01 0.77 2.25
NExT-Chat 120.01 8.33 15.99
LocateAnything 239.05 4.18 9.66
Hi-Token 616.90 1.62 7.91
Jag 65.97 15.16 2.52

在所测设置下,Jag 相比 NExT-Chat、LocateAnything、Hi-Token 分别加速 1.82×、3.62×、9.35×。耗时不含模型加载与预热;显存为采样得到的进程峰值显存。

单请求延时与显存

详见评估说明和模型卡。

快速开始

直接使用在线 Demo,或通过 Python 3.12 对自己的图片进行推理:

git clone https://github.com/xyzzzh/Jag.git
cd Jag
python3.12 -m venv .venv
source .venv/bin/activate
python -m pip install -r requirements-inference.txt
python -m jag.predict \
  --checkpoint xyzzzh/Jag \
  --image /path/to/image.jpg \
  --expression 'the person wearing a red shirt' \
  --device cuda --weight-dtype bf16

首次运行自动下载已发布模型,无需训练数据或单独下载基础模型。JSON 字段 bbox_xyxy 返回原图像素坐标下的 [x1, y1, x2, y2];添加 --output prediction.json 可保存结果。--checkpoint 也可指定本地模型目录。详见推理说明。

训练与评估

1. 准备数据与环境

安装 Docker Compose 和 NVIDIA Container Toolkit,然后复制环境配置模板:

cp .env.example .env

下载并解压 train2014.zip,将 .env 中的 REFCOCO_IMAGES_DIR 设置为解压后的 train2014 文件夹,再准备 RefCOCO 标注压缩包并下载基础模型:

python3 scripts/prepare_data.py --archive /path/to/refcoco.zip --output data/refcoco
bash scripts/docker.sh build
bash scripts/docker.sh run --rm jag python scripts/download_model.py

训练使用 refcoco_train.jsonl,评估使用数据说明中的五个测试划分。

2. 训练

bash scripts/train.sh

训练配置使用合并的 RefCOCO 系列训练数据,完成后将模型导出到 models/Jag。若该目录已存在,添加 --export-output /models/Jag-trained。如需 SwanLab,设置 SWANLAB_API_KEY 并添加 --swanlab。详见训练说明。

3. 评估

如需跳过训练并评估已发布模型,先下载至 models/Jag:

bash scripts/docker.sh --eval run --rm jag \
  hf download xyzzzh/Jag --local-dir /models/Jag
bash scripts/evaluate.sh jag
bash scripts/evaluate.sh base
bash scripts/benchmark.sh

质量与推理性能测试详见评估说明。

参与贡献

欢迎改进模型、训练和评估。详见 CONTRIBUTING.md。

引用

论文见 arXiv:2610.13239,BibTeX 引用信息见英文文档。

许可证与致谢

代码采用 Apache 2.0,模型权重和数据集遵循各自许可证。感谢 Qwen、ms-swift、EvalScope、SwanLab 和 COCO/RefCOCO 作者。

探索相关项目

加载中…