llm-xiaoye/GPB has 31 GitHub stars and 0 forks. GitHot measured 0 stars in 24 hours and 0 in 7 days. Last checked 2026-11-20 08:18 UTC. Last push 2026-11-05.
측정된 스타 증가
- in 24h
- 0
- in 7 days
- 0
- in 15 days
- 기록 수집 중
- in 1 month
- 기록 수집 중
서로 겹치는 기간의 순증가량이며 일별 합계가 아닙니다. 측정값이 없으면 비워 둡니다. 스타는 관심도를 나타내며 품질을 보장하지 않습니다.
소개
结合预训练编码器、BiLSTM 与 GlobalPointer 的实体关系联合抽取模型,支持标注校验、训练、评估及三元组预测。
머신러닝README.md
OriginalGPB:实体与关系联合抽取
结合预训练编码器、BiLSTM 与 GlobalPointer,从文本中提取带实体类型的主语—关系—宾语三元组。支持使用自有标注数据完成校验、训练、评估与预测。
核心功能
- 拼接预训练编码器与 BiLSTM 表示,融合语义和上下文信息。
- 使用实体、关系首位置、关系尾位置三个 GlobalPointer 分支联合解码三元组。
- 提供 JSONL 标注校验、字符跨度与子词对齐及动态批次填充。
- 从训练数据发现实体类型和关系,构建监督张量。
- 支持早停和最佳检查点恢复,报告严格实体级与三元组级精确率、召回率和 F1。
模型结构
文本 → 分词器 → 预训练编码器 → BiLSTM → 表示拼接 → 三个 GlobalPointer 分支 → 三元组。
仅当主体、客体实体跨度和关系首尾链接同时满足条件时输出三元组。张量形状与解码过程见架构说明。
环境与安装
需要 Python 3.10+。PyTorch 按目标平台安装;使用 GPU 时选择匹配的 CUDA 版本。默认预训练编码器为 bert-base-chinese,可按语言与领域替换。
git clone https://github.com/llm-xiaoye/GPB.git
cd GPB
python -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install -e ".[transformers]"
数据格式
使用 JSONL 文件,每行包含 text 和 triples。实体位置采用左闭右开的字符区间:
{"text":"电机过热由轴承缺油引起","triples":[{"subject":{"start":0,"end":4,"type":"FAULT"},"predicate":"caused_by","object":{"start":5,"end":9,"type":"CAUSE"}}]}
实体类型与关系由用户定义;验证集和测试集使用训练集已有的类型与关系。保持标注后的原始文本不变,以免字符位置偏移。完整规则见数据格式。
使用方式
校验与划分
gpb-validate path/to/all.jsonl
gpb-split path/to/all.jsonl path/to/splits --train-ratio 0.8 --dev-ratio 0.1 --test-ratio 0.1 --seed 42
同源或关联句子宜按文档、来源分组后再划分,避免重复内容跨集合出现。
训练
gpb-train --config configs/gpb.yaml --train path/to/train.jsonl --dev path/to/dev.jsonl --test path/to/test.jsonl --output artifacts/my-gpb
configs/gpb.yaml 使用预训练编码器;configs/offline_smoke.yaml 使用小型字符嵌入,便于离线检查流程。模型按验证集三元组 F1 选择最佳检查点,再执行最终测试。
评估
gpb-evaluate --checkpoint artifacts/my-gpb --data path/to/test.jsonl
实体评估要求起止位置与类型完全一致;三元组评估还要求关系与两个带类型的实体跨度完全一致。
预测
gpb-predict --checkpoint artifacts/my-gpb --text "电机过热可能因为轴承缺油"
输出包含原文、实体文本与位置、实体类型、关系及解码阈值。可在验证集上调整阈值,平衡精确率与召回率。
配置与输出
训练目录保存权重、类型与关系定义、解析后的配置、训练历史、指标,以及分词器和编码器配置的本地副本。加载时需要 transformers,无需重新下载原分词器和模型配置。
根据文本长度分布配置 data.max_length;截断导致标注丢失时训练会明确报错。记录编码器、划分方式、随机种子、最大长度与阈值,便于比较不同配置的结果。
开发与验证
python -m pip install -e ".[dev]"
ruff check .
pytest -q
持续集成覆盖 Python 3.10 与 3.12,基础检查不下载预训练模型。
许可证与软件引用
采用 MIT 许可证。软件引用信息见 CITATION.cff。