Skip to content
Projects

zyds/transformers-code

View on GitHub

zyds/transformers-code has 4,105 GitHub stars and 515 forks. GitHot measured +3 stars in 24 hours. Last checked 2026-11-07 16:33 UTC. Last push 2024-07-15.

How these counts are measured

手把手带你实战 Huggingface Transformers 课程视频同步更新在B站与YouTube

4,105 stars515 forks +3 in 24h

Measured star growth

in 24h
+3
in 7 days
Update delayed
in 15 days
Update delayed
in 1 month
Update delayed

Net star changes over overlapping periods, not daily totals. Missing measurements are left blank. Stars measure attention, not software quality.

README.md

Original

手把手带你实战Transformers

简介

手把手带你实战Transformers课程的代码仓库

代码适配

  • torch==2.2.1+cu118

  • transformers==4.42.4

  • peft==0.11.1

  • datasets==2.20.0

  • accelerate==0.32.1

  • bitsandbytes==0.43.1

  • faiss-cpu==1.7.4

  • tensorboard==2.14.0

课程规划

  • 基础入门篇：Transformers入门，从环境安装到各个基础组件的介绍，包括Pipeline、Tokenizer、Model、Datasets、Evaluate、Trainer，并通过一个最基本的文本分类实例将各个模块进行串讲

  • 实战演练篇：Transformers实战，通过丰富的实战案例对Transformers在NLP任务中的解决方案进行介绍，包括命名实体识别、机器阅读理解、多项选择、文本相似度、检索式对话机器人、掩码语言模型、因果语言模型、摘要生成、生成式对话机器人

  • 高效微调篇：Transformers模型高效微调，以PEFT库为核心，介绍各种常用的参数高效微调方法的原理与实战，包括BitFit、Prompt-tuning、P-tuning、Prefix-Tuning、Lora和IA3

  • 低精度训练篇：Transformers模型低精度训练，基于bitsandbytes库，进行模型的低精度训练，包括LlaMA2-7B和ChatGLM2-6B两个模型的多个不同精度训练的实战演练，包括半精度训练、8bit训练、4bit训练（QLoRA）

  • 分布式训练篇：Transformers模型分布式训练，基于accelerate库讲解transformers模型的分布式训练解决方案，介绍分布式训练的基本原理以及accelerate库的基本使用方式，包括与Deepspeed框架的集成

  • 对齐训练篇: ...

  • 性能优化篇: ...

  • 系统演示篇: ...

课程地址

课程视频发布在B站与YouTube，代码与视频会逐步进行更新，目前课程主要更新在B站，YouTube后续会持续更新

Transformers 基础入门篇 (已更新完成)

Transformers 实战演练篇 (已更新完成)

  • 08 基于 Transformers的 NLP解决方案

  • 09 实战演练之 命名实体识别

  • 10 实战演练之 机器阅读理解（上，过长截断策略）

  • 10 实战演练之 机器阅读理解（下，滑动窗口策略）

  • 11 实战演练之 多项选择

  • 12 实战演练之 文本相似度（上，基于交互策略）

  • 12 实战演练之 文本相似度（下，基于匹配策略）

  • 13 实战演练之 检索式对话机器人

  • 14 实战演练之 预训练模型

  • 15 实战演练篇之 文本摘要（上，基于T5模型）

  • 15 实战演练篇之 文本摘要（下，基于GLM模型）

  • 16 实战演练篇之 生成式对话机器人（基于Bloom）

Transformers 参数高效微调篇 (已更新完成)

Transformers 低精度训练篇（已更新完成）

  • 24 低精度训练与模型下载

  • 25 半精度模型训练（上，基于LLaMA2的半精度模型训练）

  • 25 半精度模型训练（下，基于ChatGLM3的半精度模型训练）

  • 26 量化与8bit模型训练

  • 27 4bit量化与QLoRA模型训练

Transformers 分布式训练篇（已更新完成）

Transformers 番外技能篇

  • 基于Optuna的Transformers模型自动调参

Star History

请作者喝杯奶茶

Explore related projects

codecrafters-io/build-your-own-x

Master programming by recreating your favorite technologies from scratch.

560,860 stars

public-apis/public-apis

A collective list of free APIs

497,105 stars

morluto/rea

Reverse engineer anything with agents, from app behavior down to native binaries.

441,773 stars

openclaw/openclaw

The AI that really does things. Any OS. Any Platform. The lobster way. 🦞

394,164 stars