Tencent/AngelSlim

简体中文 | English

致力于打造更易用、更全面和更高效的大模型压缩工具包

✒️ TechnicalReport   |    📖 Documentation   |   🤗 Hugging Face   |   🤖 ModelScope

💬 WeChat |   🫨 Discord

📣最新进展

• [26/07/29] 我们已发布 hy4 preview MIX-STQ1_0 版本！模型从 1.5TB 压缩至 214 GiB，在 SWE-bench Pro 上的性能仅下降了 0.7%。借助 [Prima.cpp]，我们 在4090笔记本（32GB 内存，16GB 显存） 以及搭载 4 张 A4000（32GB 内存，每张 16GB 显存）的服务器 上成功运行了该模型，推理速度达到了 1.02 tokens/s。详情请见博客和部署指南！🔥🔥🔥
• [26/07/20] 我们支持了基于 Megatron-Core 的 Qwen3-MoE 和 Hy3 量化感知蒸馏，训练时仅更新量化 scale，并支持 TP/EP/CP/SP 分布式训练。[文档]
• [26/07/06] 我们支持了 Hy3（MoE A21B）模型的 FP8-Static 量化，SmoothQuant 量化. [文档]
• [26/06/04] 我们发布了 Stem，一种稀疏注意力算法，通过在 block 粒度动态选择 top-k 关键块执行 block-sparse attention，加速长上下文 LLM 的 Prefill 阶段，在大幅降低延迟的同时实现几乎无损的生成质量。[文档]
• [26/06/01] 我们发布了 DFlare，一种基于 layer-wise fusion 的块扩散投机解码框架，端到端加速比可达 5.52×。[文档]
• [26/05/27] 我们发布了 D-Cut，一种用于投机解码的自适应验证深度裁剪技术。[文档]
• [26/05/20] 我们支持了模型蒸馏功能，适用于huggingface 全精度或者QAT量化模型，详细步骤可以参考文档.🔥🔥🔥
• [26/05/08] 我们发布了用于 1.25-bit 模型的 STQ1_0 内核，并向 llama.cpp 提交了 PR #22836！如果您对 STQ_0 有任何疑问或建议，欢迎在该 PR 下留言！🔥🔥🔥
• [26/04/29] 我们发布了 2bit 与 1.25bit 腾讯混元翻译模型 Hy-MT1.5-1.8B-2bit, Hy-MT1.5-1.8B-1.25bit。并且还制作了 离线翻译体验 Demo。 欢迎体验 🔥🔥🔥
• [26/04/23] 我们支持了 Hy3-preview（MoE A20B）模型的 FP8-Static 量化。
• [26/03/25] 我们发布了量化算法DAQ，该方法在后训练参数更新较小时，可保留量化后模型能力 [论文] | [文档]
• [26/02/09] 我们发布了 HY-1.8B-2Bit, 2比特端侧大模型, 模型可见[Huggingface].
• [26/01/13] 我们发布V0.3版本， 支持了全模态场景的投机采样训练及部署，文档：Eagle3 for LLM/VLM/Audio。并且我们发布了 Sherry 新的硬件高效的1.25bit三值量化算法 [论文] | [代码]🔥🔥🔥

🌟主要特性

• 高度集成化：本工具将主流的压缩算法集成到工具，开发者可一键式调用，具有很好的易用性。
• 持续算法创新：本工具除了集成工业界使用最广的算法，还持续自研更好的压缩算法，并且会陆续开源。
• 追求极致性能：在模型压缩流程、压缩算法部署方面，本工具持续端到端优化，例如单卡GPU可量化Qwen3-235B和Deepseek-R1。

💼技术概览

🛎️如何使用

1、安装 AngelSlim

推荐使用pip直接安装最新稳定版AngelSlim：

pip install angelslim

也可以选择克隆代码仓库后，以可编辑的方式从源代码安装：

cd AngelSlim && python setup.py install

注意： AngelSlim 以 git submodule 形式集成了投机采样训练框架 AngelSpec（位于 third_party/AngelSpec/）。克隆时请加 --recursive 拉取，或在已克隆的仓库中初始化：

# 克隆时同时拉取 submodule
git clone --recursive https://github.com/Tencent/AngelSlim.git
# 或者，在已克隆的仓库中执行
git submodule update --init --recursive

更详细的安装说明以及不同平台的安装指引，可参考安装文档。

2、快速开始

2.1 投机采样

AngelSlim 的投机采样训练由 AngelSpec 提供（git submodule，位于 third_party/AngelSpec/）——一个用于训练投机解码 draft 模型的 torch-native 框架，提供丰富的 draft 架构、target 模型支持与生产级训练能力，支持多种 draft 方法，以 DFly 与 MTP + TTT 为代表。

框架采用训推分离设计：推理引擎运行冻结的 target 模型并抽取多层隐状态，经 Mooncake store 通过 RDMA 直接流式传输（不落盘）至 FSDP2 训练进程，由 controller 负责批处理、背压与评估。推理与训练运行在独立的 GPU 资源池上，可独立扩缩。

核心能力：

• 多推理后端 —— vLLM（一等支持）、SGLang、HuggingFace。
• 长序列训练 —— Ulysses 序列并行（USP），支持 128k+ 上下文。
• 文档感知序列 packing —— 严格的跨文档注意力隔离。
• 在线评估 —— 训练过程中直接测量投机解码接受率。
• 多机 —— 大型 MoE target 模型跨节点分布，经 Mooncake RDMA 互联。
• 词表裁剪 —— 在训练或转换阶段将 draft lm_head 裁剪到更小的 token 集。

# 初始化 submodule（参见上文安装章节）
git submodule update --init --recursive
cd third_party/AngelSpec
# 安装 AngelSpec 及 vLLM 后端
pip install -e ".[vllm]"
# Hidden-state 传输（extras 未自动拉取，需单独安装）
pip install mooncake-transfer-engine
# 单机快速开始（默认 4 GPU：2 推理 + 2 训练）
./examples/qwen3-8b-single-node/run.sh

更多细节请参考技术报告、AngelSpec 文档、AngelSpec README 与 Hugging Face 权重。

2.2 LLM/VLM模型量化

完成安装AngelSlim后，您可以通过以下脚本快速开始，完成Qwen3-1.7B模型的静态FP8量化：

1、一键式启动

python3 tools/run.py -c configs/qwen3/fp8_static/qwen3-1_7b_fp8_static.yaml

该示例将会加载HugggingFace模型进行PTQ量化校准，最终量化产出模型权重.

对 Hy3-preview（MoE A20B）进行 FP8-Static 量化：

python tools/run.py -c configs/hunyuan/fp8_static/hunyuanv3_a20b_fp8_static_c8.yaml

from angelslim.engine import Engine

slim_engine = Engine()
# Prepare model
slim_engine.prepare_model(model_name="Qwen", model_path="Qwen/Qwen3-1.7B")
# Initialize compressor
slim_engine.prepare_compressor("PTQ", default_method="fp8_dynamic")
# Compress model
slim_engine.run()
# Save compressed model
slim_engine.save("./output")

详情请参考量化快速开始文档。

2.3 Diffusion模型量化

使用 scripts/diffusion/run_diffusion.py 脚本进行量化与推理：

# 在线量化并运行推理
python scripts/diffusion/run_diffusion.py \
  --model-name-or-path black-forest-labs/FLUX.1-schnell \
  --quant-type fp8-per-tensor \
  --prompt "A cat holding a sign that says hello world" \
  --height 1024 --width 1024 --steps 4 --guidance 0.0 --seed 0

更多量化推理方式请参考Diffusion模型量化文档。

2.4 Token 压缩 (多模态/VLM)

AngelSlim 提供了一套基于元数据驱动的通用视觉 Token 剪枝与合并框架。你可以通过以下 Smoke Test 快速验证压缩策略（如 VisionZip）：

python tools/test_universal_pruning.py \
    --model_path "Qwen/Qwen2.5-VL-3B-Instruct" \
    --config "configs/qwen2_5_vl/pruning/visionzip_r0.9.yaml"

关于如何新增自定义剪枝策略及算法实现细节，请参考 Token 压缩说明文档。

3、部署与测试

3.1 离线推理

通过transformers加载量化模型进行离线推理。

python scripts/deploy/offline.py $MODEL_PATH "Hello, my name is"

3.2 服务部署

支持通过 vLLM、SGLang推理框架部署 OpenAI 兼容的 API 服务。

3.3 服务调用

通过 OpenAI 格式 接口发起请求。

bash scripts/deploy/openai.sh -m $MODEL_PATH -p "Hello, my name is" --port 8080 --max-tokens 4096 --temperature 0.7 --top-p 0.8 --top-k 20 --repetition-penalty 1.05 --system-prompt "You are a helpful assistant."

3.4 效果验证

使用 lm-evaluation-harness 评估量化模型精度，建议版本lm-eval>=0.4.8

bash scripts/deploy/lm_eval.sh -d 0,1 -t 2 -g 0.8 -r $RESULT_PATH -b "auto" --tasks ceval-valid,mmlu,gsm8k,humaneval -n 0 $MODEL_PATH

详细操作指南请参阅部署文档。

📈Benchmark

1、投机采样

下列结果来自 AngelSpec——一个 torch-native、训推分离投机采样训练框架，由 AngelSlim 以 git submodule 形式集成（详见 2.1 节），支持多种 draft 方法，以 DFly 与 MTP + TTT 为代表。[论文] | [文档] | [Hugging Face]

✨ 核心亮点

• 🏗️ 全链路开源：AngelSpec 训练框架 + Hy3-A21B 的 MTP / DFly drafter 权重与训练代码，一次性放出。
• 🚀 DFly 全面领先：在 Hy3-A21B 上，DFly 于 4–64 全部并发档位、六个 benchmark 均取得最高吞吐——相较 AR 基线平均加速 1.98–2.40×（代码 / 数学单项峰值 2.86×），并比 DFlash 快 10.5–11.8%。
• 📈 接受长度大幅提升：DFly 平均接受长度达 4.79，较 DFlash（3.69）+30%、较 MTP（3.00）约 1.6×，HumanEval 高达 5.52。
• ⚡ D-cut 榨干高并发：在 295B 模型线上真实流量中，高并发区间额外带来最高 +15.7% 吞吐，且几乎无损（平均接受长度 2.50 → 2.46）。
• 💬 MTP + TTT 攻克对话：修复训练-推理不一致，平均接受率 52.8% → 66.4%，平均接受长度 2.58 → 2.99。

1.1 🏆 Drafter 大比拼：DFly 领跑

起草质量：平均接受长度。 在 Qwen3-8B 与 Hy3-A21B 上、覆盖数学/代码/对话基准测得（temperature = 1，no thinking）；粗体表示每个目标模型在对应基准上的最优 drafter。DFly 平均领先——Qwen3-8B 达 5.41、Hy3-A21B 达 4.79，并在几乎所有基准上夺魁，明显甩开 DFlash 与 MTP。

端到端吞吐：Hy3-295B-A21B。 相对 AR 基线的输出 token 吞吐（Tok/s）与加速比（Spd.）（TP=8，temperature 1，并发 c4–c64；每格为 3×120s 窗口）。粗体表示每个基准在对应并发下的最优加速比；MTP-3 使用 3 个投机 token，DFlash-8 / DFly-8 使用 block 长度 8。DFly-8 在每个并发档位都拿下最高平均加速——相较 AR 1.98×–2.40×，HumanEval 上峰值达 2.86×。

1.2 ⚡ D-cut：突破高并发吞吐天花板

并发一高，target 验证就成了瓶颈，被拒绝的 draft 后缀白白占用 batch 容量。D-cut 把验证当作 batch 级的共享预算——按「期望收益/成本」对各请求的验证深度全局排序，空闲时自动加深 draft，繁忙时主动裁剪。优势恰好出现在 DFly 触顶之处：并发 48 之后 DFly 吞吐饱和，而 D-cut 仍在把负载转化为吞吐，相较 DFly 最高 +15.7%，且几乎无损（平均接受长度 2.50 → 2.46）。

2、量化

下面只展示了部分模型的效果测试情况，完整Benchmark可以参考Benchmark文档

2.1 Hunyuan系列模型

Hunyuan-Instruct的BF16、FP8、INT4-GPTQ、INT4-AWQ在OlympiadBench、AIME 2024、DROP、GPQA-Diamond上的评测结果如下：

2.2 Qwen3系列模型

Qwen3系列模型的BF16、FP8-Static、FP8-Dynamic、INT8-Dynamic、INT4-GPTQ、INT4-AWQ在CEVAL、MMLU、GSM8K、HUMANEVAL上的评测结果如下：

2.3 DeepSeek系列模型

DeepSeek-R1-0528模型的FP8-Block-Wise、W4A8-FP8在GPQA Diamond、AIME 2024、SimpleQA、LiveCodeBench上的评测结果如下：

2.4 Qwen-VL 系列模型

Qwen3-VL Benchmark

Qwen3VL系列模型的BF16、FP8-Static、FP8-Dynamic在MMMU_VAL、DocVQA_VAL、ChartQA_TEST上的评测结果如下：

2.5 Qwen-Omni 系列模型

Qwen3-Omni Text to Text Benchmark

Qwen3-Omni系列模型的BF16、FP8-Static、FP8-Dynamic在aime25、gpqa_diamond、mmlu_redux上的评测结果如下：

2.6 其他模型

其他模型比如GLM、Qwen2.5、Seed-OSS等模型利用FP8-Static、FP8-Dynamic、INT4-GPTQ、INT4-AWQ量化等策略在CEVAL、MMLU、GSM8K上进行了评测。

3. Token 压缩 (多模态/VLM)

我们在 Qwen2.5-VL-3B-Instruct 模型上评估了多种视觉 Token 压缩策略（剪枝与合并）。你可以使用以下指令复现评测结果：

python tools/run_pruning_eval.py \
    --model_path "Qwen/Qwen2.5-VL-3B-Instruct" \
    --configs "configs/qwen2_5_vl/pruning/visionzip_r0.9.yaml" \
    --tasks "textvqa" \
    --output_dir "./results/visionzip_test"

📝许可协议

本项目的代码依照 License for AngelSlim 协议开源。

🔗引用

@article{angelslim2026,
  title={AngelSlim: A more accessible, comprehensive, and efficient toolkit for large model compression},
  author={Hunyuan AI Infra Team},
  journal={arXiv preprint arXiv:2602.21233},
  year={2026}
}

💬技术交流

• AngelSlim是由腾讯混元AI Infra团队研发，新功能在持续迭代更新中，有问题或建议欢迎通过GitHub Issues给我们提issue，或者加入微信技术交流群。

• ⭐ 欢迎给这个仓库点Star来关注后续我们的更新。并且如果有兴趣加入团队进行实习或正式工作，可投递简历至邮箱：[email protected]。