xyzzzh/Jag has 46 GitHub stars and 0 forks. GitHot measured 0 stars in 24 hours and +3 in 7 days. Last checked 2026-11-21 15:43 UTC. Last push 2026-10-24.
实测星标增长
- 24小时
- 0
- 7天
- +3
- 15天
- 正在收集历史
- 1个月
- 正在收集历史
各周期内的星标净变化,周期相互重叠,并非每日新增。缺失的测量保持空白。星标代表关注度,不代表软件质量。
关于
Jag: Direct Box Prediction for Efficient Visual Grounding
机器学习README_zh.md
原文
简介
Jag 是一个直接预测连续边界框的紧凑多模态模型。Jag 保留 Qwen3.5-0.8B 的图像与语言处理能力,用直接几何预测替代自回归坐标生成。
轻量 MLP 读取最后一个有效输入 token 的表征,一次前向预测归一化 cxcywh 坐标。训练使用 L1 和 GIoU 损失,先适配回归头,再联合微调语言主干、视觉 merger 和回归头,其余视觉编码器保持冻结。
训练使用 ModelScope ms-swift,评估使用 EvalScope,环境使用 Docker,可选 SwanLab 实时记录训练日志。
评估结果
IoU ≥ 0.5 时的准确率(%)。RefCOCO 和 RefCOCO+ 按样本数合并 testA、testB;RefCOCOg 使用 test。
| 模型 | RefCOCO | RefCOCO+ | RefCOCOg |
|---|---|---|---|
| Base (Qwen3.5-0.8B) | 79.74 | 70.10 | 77.96 |
| NExT-Chat | 83.68 | 75.67 | 79.28 |
| LocateAnything | 91.35 | 84.12 | 88.54 |
| Jag | 91.28 | 85.80 | 87.72 |
Jag 在五个测试划分上均超过 Base,并在三个划分上取得所比较模型中的最高准确率。详见分划分结果。
单请求端到端推理:
| 模型 | 延时 ↓ (ms) | 吞吐 ↑ (样本/s) | GPU 显存 ↓ (GiB) |
|---|---|---|---|
| Base | 1293.01 | 0.77 | 2.25 |
| NExT-Chat | 120.01 | 8.33 | 15.99 |
| LocateAnything | 239.05 | 4.18 | 9.66 |
| Hi-Token | 616.90 | 1.62 | 7.91 |
| Jag | 65.97 | 15.16 | 2.52 |
在所测设置下,Jag 相比 NExT-Chat、LocateAnything、Hi-Token 分别加速 1.82×、3.62×、9.35×。耗时不含模型加载与预热;显存为采样得到的进程峰值显存。

快速开始
直接使用在线 Demo,或通过 Python 3.12 对自己的图片进行推理:
git clone https://github.com/xyzzzh/Jag.git
cd Jag
python3.12 -m venv .venv
source .venv/bin/activate
python -m pip install -r requirements-inference.txt
python -m jag.predict \
--checkpoint xyzzzh/Jag \
--image /path/to/image.jpg \
--expression 'the person wearing a red shirt' \
--device cuda --weight-dtype bf16
首次运行自动下载已发布模型,无需训练数据或单独下载基础模型。JSON 字段 bbox_xyxy 返回原图像素坐标下的 [x1, y1, x2, y2];添加 --output prediction.json 可保存结果。--checkpoint 也可指定本地模型目录。详见推理说明。
训练与评估
1. 准备数据与环境
安装 Docker Compose 和 NVIDIA Container Toolkit,然后复制环境配置模板:
cp .env.example .env
下载并解压 train2014.zip,将 .env 中的 REFCOCO_IMAGES_DIR 设置为解压后的 train2014 文件夹,再准备 RefCOCO 标注压缩包并下载基础模型:
python3 scripts/prepare_data.py --archive /path/to/refcoco.zip --output data/refcoco
bash scripts/docker.sh build
bash scripts/docker.sh run --rm jag python scripts/download_model.py
训练使用 refcoco_train.jsonl,评估使用数据说明中的五个测试划分。
2. 训练
bash scripts/train.sh
训练配置使用合并的 RefCOCO 系列训练数据,完成后将模型导出到 models/Jag。若该目录已存在,添加 --export-output /models/Jag-trained。如需 SwanLab,设置 SWANLAB_API_KEY 并添加 --swanlab。详见训练说明。
3. 评估
如需跳过训练并评估已发布模型,先下载至 models/Jag:
bash scripts/docker.sh --eval run --rm jag \
hf download xyzzzh/Jag --local-dir /models/Jag
bash scripts/evaluate.sh jag
bash scripts/evaluate.sh base
bash scripts/benchmark.sh
质量与推理性能测试详见评估说明。
参与贡献
欢迎改进模型、训练和评估。详见 CONTRIBUTING.md。
引用
论文见 arXiv:2610.13239,BibTeX 引用信息见英文文档。
许可证与致谢
代码采用 Apache 2.0,模型权重和数据集遵循各自许可证。感谢 Qwen、ms-swift、EvalScope、SwanLab 和 COCO/RefCOCO 作者。
探索相关项目
加载中…