Skip to content
프로젝트

llm-xiaoye/GPB has 31 GitHub stars and 0 forks. GitHot measured 0 stars in 24 hours and 0 in 7 days. Last checked 2026-11-20 08:18 UTC. Last push 2026-11-05.

이 수치를 측정하는 방법

측정된 스타 증가

in 24h
0
in 7 days
0
in 15 days
기록 수집 중
in 1 month
기록 수집 중

서로 겹치는 기간의 순증가량이며 일별 합계가 아닙니다. 측정값이 없으면 비워 둡니다. 스타는 관심도를 나타내며 품질을 보장하지 않습니다.

소개

结合预训练编码器、BiLSTM 与 GlobalPointer 的实体关系联合抽取模型,支持标注校验、训练、评估及三元组预测。

머신러닝

README.md

Original

GPB:实体与关系联合抽取

结合预训练编码器、BiLSTM 与 GlobalPointer,从文本中提取带实体类型的主语—关系—宾语三元组。支持使用自有标注数据完成校验、训练、评估与预测。

核心功能

  • 拼接预训练编码器与 BiLSTM 表示,融合语义和上下文信息。
  • 使用实体、关系首位置、关系尾位置三个 GlobalPointer 分支联合解码三元组。
  • 提供 JSONL 标注校验、字符跨度与子词对齐及动态批次填充。
  • 从训练数据发现实体类型和关系,构建监督张量。
  • 支持早停和最佳检查点恢复,报告严格实体级与三元组级精确率、召回率和 F1。

模型结构

文本 → 分词器 → 预训练编码器 → BiLSTM → 表示拼接 → 三个 GlobalPointer 分支 → 三元组。

仅当主体、客体实体跨度和关系首尾链接同时满足条件时输出三元组。张量形状与解码过程见架构说明。

环境与安装

需要 Python 3.10+。PyTorch 按目标平台安装;使用 GPU 时选择匹配的 CUDA 版本。默认预训练编码器为 bert-base-chinese,可按语言与领域替换。

git clone https://github.com/llm-xiaoye/GPB.git
cd GPB
python -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install -e ".[transformers]"

数据格式

使用 JSONL 文件,每行包含 text 和 triples。实体位置采用左闭右开的字符区间:

{"text":"电机过热由轴承缺油引起","triples":[{"subject":{"start":0,"end":4,"type":"FAULT"},"predicate":"caused_by","object":{"start":5,"end":9,"type":"CAUSE"}}]}

实体类型与关系由用户定义;验证集和测试集使用训练集已有的类型与关系。保持标注后的原始文本不变,以免字符位置偏移。完整规则见数据格式。

使用方式

校验与划分

gpb-validate path/to/all.jsonl
gpb-split path/to/all.jsonl path/to/splits --train-ratio 0.8 --dev-ratio 0.1 --test-ratio 0.1 --seed 42

同源或关联句子宜按文档、来源分组后再划分,避免重复内容跨集合出现。

训练

gpb-train --config configs/gpb.yaml --train path/to/train.jsonl --dev path/to/dev.jsonl --test path/to/test.jsonl --output artifacts/my-gpb

configs/gpb.yaml 使用预训练编码器;configs/offline_smoke.yaml 使用小型字符嵌入,便于离线检查流程。模型按验证集三元组 F1 选择最佳检查点,再执行最终测试。

评估

gpb-evaluate --checkpoint artifacts/my-gpb --data path/to/test.jsonl

实体评估要求起止位置与类型完全一致;三元组评估还要求关系与两个带类型的实体跨度完全一致。

预测

gpb-predict --checkpoint artifacts/my-gpb --text "电机过热可能因为轴承缺油"

输出包含原文、实体文本与位置、实体类型、关系及解码阈值。可在验证集上调整阈值,平衡精确率与召回率。

配置与输出

训练目录保存权重、类型与关系定义、解析后的配置、训练历史、指标,以及分词器和编码器配置的本地副本。加载时需要 transformers,无需重新下载原分词器和模型配置。

根据文本长度分布配置 data.max_length;截断导致标注丢失时训练会明确报错。记录编码器、划分方式、随机种子、最大长度与阈值,便于比较不同配置的结果。

开发与验证

python -m pip install -e ".[dev]"
ruff check .
pytest -q

持续集成覆盖 Python 3.10 与 3.12,基础检查不下载预训练模型。

许可证与软件引用

采用 MIT 许可证。软件引用信息见 CITATION.cff。