yifanfeng97/Hyper-Extract

# Anthropic (Claude) —— 仅 LLM
he config llm -p anthropic -k YOUR_ANTHROPIC_API_KEY
he config embedder -p openai -k YOUR_OPENAI_API_KEY

# Google Gemini —— 仅 LLM（默认：gemini-3.8-flash）
he config llm -p google -k YOUR_GOOGLE_API_KEY
he config embedder -p openai -k YOUR_OPENAI_API_KEY

# 百炼（阿里云，Qwen，一个 key 同时提供 LLM 和 embedding）
he config init -p bailian -k YOUR_BAILIAN_API_KEY

OpenAI 和百炼同时提供 LLM 和 embedding 模型；Anthropic、Google Gemini 和 DeepSeek 仅提供 LLM（需搭配 OpenAI 兼容 embedder）。DeepSeek 最经济（约 $0.001-0.005/页）。

uv pip install hyperextract

from hyperextract import Template

ka = Template.create("general/biography_graph")

with open("examples/zh/sushi.md") as f:
    result = ka.parse(f.read())

result.show()

🔗 更多示例：examples/zh

丢进去一篇 20 页的学术论文，一键生成关键概念、作者、引用的交互式图谱。

he parse paper.pdf -t general/academic_graph -o ./paper_kb/
he show ./paper_kb/

自动识别非结构化报告中的公司、高管、财务指标及其关系。

he parse earnings.md -t finance/earnings_graph -o ./finance_kb/
he search ./finance_kb/ "关键风险因素有哪些？"

通过 vLLM 本地运行 Qwen3.5-9B + bge-m3，数据绝不离开本机。

from hyperextract import create_client
llm, emb = create_client(
    llm="vllm:Qwen3.5-9B@http://localhost:8000/v1",
    embedder="vllm:bge-m3@http://localhost:8001/v1",
    api_key="dummy",
)

文档会变。Hyper-Extract 追踪每个来源，让你可以更新、回滚或审计，而不用从头重建。

# 带来源标注摄取——每条知识可追溯到来源文档
he feed ./ka/ contract-v1.md --source contract-v1
he tag ./ka/ --source contract-v1 --add legal --add acme

# 文档更新了？同 source 重喂——旧事实自动回滚
he feed ./ka/ contract-v2.md --source contract-v1

# 文档过时了？回滚它贡献的全部知识
he remove ./ka/ --document contract-v1

# 删除单条错误事实（大模型辅助，支持 dry-run 预览）
he remove ./ka/ --edit-node Apple --fact "founded by Steve Jobs" --dry-run

# 只搜法律类文档
he search ./ka/ "termination clause" --tag legal

# 审计：哪些文档贡献了什么？
he info ./ka/ --sources

DeepSeek： V4 模型默认开启 "thinking" 模式，Hyper-Extract 会自动关闭以保证结构化抽取可用。设置 DEEPSEEK_API_KEY。DeepSeek 没有嵌入接口：

from hyperextract import create_client
llm, emb = create_client(llm="deepseek", embedder="openai:text-embedding-3-small")

Anthropic： Claude 仅用于 LLM（设置 ANTHROPIC_API_KEY，额外依赖：pip install 'hyperextract[anthropic]'）。没有嵌入接口：

from hyperextract import create_client
llm, emb = create_client(llm="anthropic", embedder="openai:text-embedding-3-small")

Google Gemini： Gemini 仅用于 LLM（设置 GOOGLE_API_KEY 或 GEMINI_API_KEY，额外依赖：pip install 'hyperextract[google]'）。默认模型为 gemini-3.8-flash。本仓库没有成熟的 embedder 路径：

from hyperextract import create_client
llm, emb = create_client(llm="google", embedder="openai:text-embedding-3-small")

Hyper-Extract 采用三层架构：

• Auto-Types — 9 种强类型数据结构（模型、列表、集合、图谱、超图、时序图、空间图、时空图、文档语料）
• Methods — 提取与检索算法：chunk_rag 基线、KG-Gen、GraphRAG、LightRAG、Hyper-RAG、Cog-RAG 等
• Templates — 覆盖 6 大领域的 80+ 预设模板，零代码配置

模板示例（Graph 类型）：

language: zh
name: 知识图谱
type: graph
tags: [general]
description: '从文本中提取实体及其关系。'
output:
  entities:
    fields:
    - name: name
      type: str
    - name: type
      type: str
    - name: description
      type: str
  relations:
    fields:
    - name: source
      type: str
    - name: target
      type: str
    - name: type
      type: str
identifiers:
  entity_id: name
  relation_id: '{source}|{type}|{target}'

• 浏览全部 80+ 模板
• 创建自定义模板