YOLOW92/pagesift
YOLOW92/pagesift has 279 GitHub stars and 37 forks. GitHot measured +3 stars in 24 hours, +17 in 7 days, and +92 in 15 days. Last checked 2026-11-18 02:05 UTC. Last push 2026-11-15.
可以做什么
- Extraction: main-content detection, Markdown that round-trips headings, lists, tables, code and math; publication dates; includeTags / excludeTags CSS filters; warnings such as partial_content, pages_missing, output_truncated instead of silently incomplete results
- Documents: own Rust readers for PDF (structure tree, bookmarks, headers/footers, CJK fonts without ToUnicode, damaged files), Word, Excel, PowerPoint, EPUB and CSV
- Rendering: engine: auto fetches over HTTP first and opens a headless browser only when that adds content; the Docker image ships one
- Crawling: focused crawls (--query … --adaptive) that stop when pages stop adding relevant content; attachments (linked PDFs and Office files); crawl trace per page; sitemaps; duplicate and trap URL handling; per-host token buckets and backoff on 429/503
实测星标增长
- 24小时
- +3
- 7天
- +17
- 15天
- +92
- 1个月
- 正在收集历史
各周期内的星标净变化,周期相互重叠,并非每日新增。缺失的测量保持空白。星标代表关注度,不代表软件质量。
关于
Self-hosted web scraper, crawler and document parser for AI agents: URLs, PDFs with OCR and Office files to clean Markdown/JSON. Firecrawl- and Jina-compatible API, MCP server, agent endpoint, Python/Node SDKs. Single Rust binary.
人工智能docs/README.zh-CN.md
原文
pagesift 0.90.0
把网页、PDF 和 Office 文件转成供 LLM 和 AI 智能体使用的干净 Markdown。
一个自托管的 Rust 二进制:CLI、兼容 Firecrawl 的 HTTP API、Jina Reader 端点、MCP 服务器、Python 和 Node.js 包。
它是什么
pagesift 抓取一个 URL(只在页面需要时才渲染 JavaScript)或读取本地文件,保留正文, 返回 Markdown 和元数据。它能抓单个页面、批量页面和整站, 可以作为命令、库、HTTP 服务或 MCP 服务器运行。
可以替代或配合使用:Firecrawl(同样的 v1/v2 API,自托管)、Jina Reader(/r/<url>)、
Crawl4AI、trafilatura / Readability、pymupdf4llm / pypdf、Kreuzberg。
速览
- 输入: URL(HTTP,必要时用无头浏览器)、HTML、PDF、Word(.docx)、Excel(.xlsx)、PowerPoint(.pptx)、EPUB、CSV
- 输出: Markdown、HTML、原始 HTML、链接、图片、元数据(标题、发布日期……)、JSON;结果不完整时给出警告
- 接口: CLI · Firecrawl v1/v2 HTTP API · Jina Reader
/r/· MCP(stdio 或 HTTP)· Python · Node.js / TypeScript · Rust crate - 平台: Linux x86_64 / aarch64(glibc ≥ 2.28 和 musl)、macOS x86_64 / arm64、Windows x86_64;Docker 镜像
ghcr.io/yolow92/pagesift - 爬取: 默认遵守 robots.txt 并按主机限速,支持站点地图、按查询的聚焦爬取,内存有界
- 内存: 0.81 各项基准中每个 worker 峰值 14–380 MB(16 路处理 HTML、PDF 时最低);容量按 cgroup 内存上限自动确定(768 MiB 下无 OOM)
- 不适用: 扫描版 PDF 或图片的 OCR;pagesift 只读取文本层(见下文“什么时候用”)
- 许可证: AGPL-3.0,或商业许可
- 最新版本: 0.90.0 · 发行说明
安装与使用
| 安装 | 第一次调用 | |
|---|---|---|
| CLI | cargo install pagesift --locked |
pagesift scrape https://example.com |
| Python | pip install pagesift |
pagesift.scrape("https://example.com").markdown |
| Node.js | npm install @pagesift/node |
(await scrape("https://example.com")).markdown |
| 服务器 | docker run -p 3002:3002 ghcr.io/yolow92/pagesift:0.90.0 |
curl localhost:3002/r/https://example.com |
| MCP | — | claude mcp add pagesift -- pagesift mcp |
CLI
pagesift scrape "https://news.ycombinator.com" # Markdown 输出到 stdout
pagesift scrape report.pdf # 本地 PDF、Office、EPUB、CSV 或 HTML 文件
pagesift crawl "https://docs.rs" --limit 500 --out ./data/ # 每页一个 Markdown 文件
pagesift crawl "https://www.example.edu" --query "graduate admission" --adaptive
pagesift map "https://docs.rs" # 列出站点的 URL
pagesift doctor # 检查浏览器和运行环境
Python
import pagesift
page = pagesift.scrape("https://example.com", formats=["markdown", "metadata"])
print(page.markdown)
print(page.metadata.title, page.metadata.published_date)
results = pagesift.scrape_many(["https://site1.com", "https://site2.com"], concurrency=8)
Node.js / TypeScript
import { scrape, scrapeMany } from '@pagesift/node'
const page = await scrape('https://example.com', { formats: ['markdown', 'links'] })
console.log(page.markdown)
for await (const p of scrapeMany(['https://a.com', 'https://b.com'], { concurrency: 4 })) {
console.log(p.url, p.elapsedMs)
}
HTTP 服务器(兼容 Firecrawl 和 Jina Reader)
docker run -d -p 3002:3002 -v pagesift-data:/data \
-e PAGESIFT_API_KEYS=sk-test ghcr.io/yolow92/pagesift:0.90.0
from firecrawl import FirecrawlApp
app = FirecrawlApp(api_url="http://localhost:3002", api_key="sk-test") # 现有 Firecrawl 代码,只换 URL
print(app.scrape_url("https://example.com", params={"formats": ["markdown"]})["markdown"])
curl -s http://localhost:3002/r/https://example.com -H 'Authorization: Bearer sk-test' # Jina Reader 风格
curl -s http://localhost:3002/v2/parse -H 'Authorization: Bearer sk-test' \
-F [email protected] -F 'options={"formats":["markdown"]}' # 上传文件
端点:/v1 和 /v2 的 scrape、batch/scrape、crawl、map;/v2/parse(文件上传,最大 50 MB,
详情);/r/<url>(纯 Markdown 或 text/event-stream)。
供 AI 智能体使用的 MCP 服务器
pagesift mcp # stdio,供单个智能体使用
pagesift mcp http --port 3003 # 一个共享的本地服务(仅 127.0.0.1)
claude mcp add --scope user --transport http pagesift http://127.0.0.1:3003/mcp
工具:pagesift_scrape、pagesift_batch_scrape、pagesift_crawl、pagesift_crawl_status、pagesift_map。
共享浏览器和缓存、审计日志和问题上报工具:共享 MCP 服务。
什么时候用,什么时候不用
适合
- 把网页和文档喂给 LLM、RAG 索引或智能体,Markdown 保留标题、列表、表格和链接
- 在自己的机器上自托管 Firecrawl 或 Jina Reader 式的服务,不按页付费
- 混合输入:同一个调用处理 HTML、PDF、Office 文件和电子书
- 小机器和容器:内存有界,按 cgroup 限额确定大小
这些情况选别的
- 扫描版 PDF 或图片需要 OCR。 pagesift 只读文本层;在 134 页扫描件上完成率 0.112,GPU 上的 Docling 为 1.000。请用 Docling、olmOCR 或其他 OCR 流程。
- 你要最快的爬取速度,不需要礼貌限速。 pagesift 对同一主机的请求之间会等待、遵守 robots.txt 并重试失败;spider 的纯爬取耗时快得多(40 站 × 60 页上 1.4 s 对 16.6 s)。
- AGPL 对你不合适,商业许可也不可行:请用宽松许可证的工具。
- 你现在就需要托管的云服务。 pagesift 是自托管的;托管 API 还没开放。
性能
↑ 越高越好 · ↓ 越低越好。每个领域取最强的一项;方法和出处见完整报告。
| 任务 | 指标 | PageSift | 最好的其他工具 | 差距 |
|---|---|---|---|---|
| PDF → Markdown — olmOCR-bench 1,269 页,单页(单线程) | 单页耗时 ↓ | 2.2 | pypdf 50.0 | ×22.32 |
| HTML → Markdown — 600 篇生成文档,单页 | 单页耗时 ↓ | 0.24 | Turndown 1.9 | ×8.24 |
| 网页正文 — Firecrawl 597 页,单线程 | 单页中位耗时 ↓ | 1.0 | crw 7.4 | ×7.23 |
| 发布日期 — htmldate 1,000 页,日期搜索 | 单页耗时 ↓ | 0.31 | htmldate (fast) 2.0 | ×6.45 |
| Office / 电子书 — B4 81 份,单进程 | 吞吐 ↑ | 94.1 | Kreuzberg 19.5 | ×4.82 |
| RAG 分块 — 5 份语料,1.4 MB | 总耗时 ↓ | 11 | chonkie recursive 35 | ×3.24 |
| RAG 查询过滤 — 472 题,默认配置 | 答案召回 ↑ | 0.929 | Crawl4AI BM25 0.673 | +0.256 |
| 真实站点抓取 — polite,40 站 × 60 页,覆盖 | 覆盖率 ↑ | 0.740 | Crawl4AI (HTTP) 0.529 | +0.211 |
仍落后: A2 回放 269 页,1 路 2.4 pages/s vs spider 156.6 pages/s;fast,40 站 × 60 页,耗时 16.6 seconds vs spider 1.4 seconds;B5 134 页,完成率 0.112 vs Docling (GPU) 1.000。
A2 吞吐是对一个回环地址上的回放服务测的,269 页都算同一个主机。PageSift 默认对同一主机两次请求之间间隔 1 秒,spider 不限速;这一行主要反映这个礼貌间隔,而不是引擎速度。
规模(0.70,合成的本地源站,不是真实互联网速度):192 vCPU 上 200,000,000 次请求零失败, 947,611 页/秒,峰值 RSS 888 MiB;在 768 MiB 的 cgroup 内仍维持 817,346 页/秒,没有 OOM。 出处:0.70 测试、全部基准。
功能
- 提取: 正文识别;Markdown 能完整往返标题、列表、表格、代码和数学公式;发布日期;
includeTags/excludeTagsCSS 筛选;结果不完整时给出partial_content、pages_missing、output_truncated等警告,而不是悄悄返回残缺结果 - 文档: 自研的 Rust 读取器,支持 PDF(结构树、书签、页眉页脚、没有 ToUnicode 的 CJK 字体、损坏文件)、Word、Excel、PowerPoint、EPUB 和 CSV
- 渲染:
engine: auto先用 HTTP 抓取,只在能多拿到内容时才打开无头浏览器;Docker 镜像自带一个 - 爬取: 聚焦爬取(
--query … --adaptive),页面不再带来相关内容时停止;附件(链接的 PDF 和 Office 文件);每页的爬取轨迹;站点地图;重复和陷阱 URL 处理;按主机的令牌桶,遇到 429/503 退避 - 运维: 有界队列,容量按 CPU 和 cgroup 内存确定;服务器端有任务持久化、webhook、按 key 限额和指标;每次抓取都记审计日志
- 安全: 默认防护私有网络和 DNS 重绑定(用
--allow-cidr放行),浏览器沙箱
架构:architecture.md。
许可证
AGPL-3.0。如需专有链接或不承担 AGPL 义务的私有部署,请见
商业许可 或写信到 [email protected]。
0.90.0 更新
以前写死的大部分上限、超时和阈值,现在按进程实际观测到的数据估计:从 0.81.5 的值起步,只在统计上显著时才改变。
其他新增:按路径族的渲染决策(可用 explain 查看每一步)、推测执行、二进制缓存、--out / --warc 输出、爬取和批量任务的
流式输出、按块结构的 RAG 分块、PDF 按页质量检查和图片导出、出口池,以及多服务器角色(gateway、worker、standby)。
发行说明 · 全部版本 · CHANGELOG
社区
问题或反馈:Discord · Issues · Discussions
引用
@software{pagesift2026,
title = {PageSift: Rust Web and Document Extraction Engine for AI Pipelines},
author = {YOLOW92},
year = {2026},
url = {https://github.com/YOLOW92/pagesift},
note = {Version 0.90.0}
}