Skip to content
Proyectos

YOLOW92/pagesift has 284 GitHub stars and 37 forks. GitHot measured +4 stars in 24 hours, +19 in 7 days, and +92 in 15 days. Last checked 2026-11-19 10:56 UTC. Last push 2026-11-15.

Cómo se miden estas cifras

What you can do

  • Extraction: main-content detection, Markdown that round-trips headings, lists, tables, code and math; publication dates; includeTags / excludeTags CSS filters; warnings such as partial_content, pages_missing, output_truncated instead of silently incomplete results
  • Documents: own Rust readers for PDF (structure tree, bookmarks, headers/footers, CJK fonts without ToUnicode, damaged files), Word, Excel, PowerPoint, EPUB and CSV
  • Rendering: engine: auto fetches over HTTP first and opens a headless browser only when that adds content; the Docker image ships one
  • Crawling: focused crawls (--query … --adaptive) that stop when pages stop adding relevant content; attachments (linked PDFs and Office files); crawl trace per page; sitemaps; duplicate and trap URL handling; per-host token buckets and backoff on 429/503

Crecimiento de estrellas medido

in 24h
+4
in 7 days
+19
in 15 days
+92
in 1 month
Recopilando historial

Cambios netos en períodos que se solapan, no totales diarios. Los datos no disponibles se dejan en blanco. Las estrellas indican interés, no calidad.

Acerca de

Self-hosted web scraper, crawler and document parser for AI agents: URLs, PDFs with OCR and Office files to clean Markdown/JSON. Firecrawl- and Jina-compatible API, MCP server, agent endpoint, Python/Node SDKs. Single Rust binary.

IA

docs/README.es.md

Original
PageSift Logo

pagesift 0.90.0

Convierte páginas web, PDF y archivos de Office en Markdown limpio para LLM y agentes de IA.
Un único binario en Rust, autoalojado: CLI, API HTTP compatible con Firecrawl, endpoint de Jina Reader, servidor MCP, paquetes para Python y Node.js.

License: AGPL-3.0 Commercial license Release crates.io PyPI npm PageSift MCP server – quality and maintenance score on Glama Discord

English · 简体中文 · 日本語 · Español

Qué es

pagesift descarga una URL (renderiza JavaScript solo cuando la página lo necesita) o lee un archivo local, conserva el contenido principal y devuelve Markdown junto con metadatos. Extrae páginas sueltas, lotes y sitios completos, y funciona como comando, biblioteca, servicio HTTP o servidor MCP.

Puede sustituir o acompañar a: Firecrawl (la misma API v1/v2, autoalojada), Jina Reader (/r/<url>), Crawl4AI, trafilatura / Readability, pymupdf4llm / pypdf, Kreuzberg.

De un vistazo

  • Entrada: URL (por HTTP, o con un navegador sin interfaz cuando hace falta), HTML, PDF, Word (.docx), Excel (.xlsx), PowerPoint (.pptx), EPUB, CSV
  • Salida: Markdown, HTML, HTML sin procesar, enlaces, imágenes, metadatos (título, fecha de publicación, …), JSON; avisos cuando un resultado está incompleto
  • Interfaces: CLI · API HTTP Firecrawl v1/v2 · Jina Reader /r/ · MCP (stdio o HTTP) · Python · Node.js / TypeScript · crate de Rust
  • Plataformas: Linux x86_64 / aarch64 (glibc ≥ 2.28 y musl), macOS x86_64 / arm64, Windows x86_64; imagen Docker ghcr.io/yolow92/pagesift
  • Rastreo: robots.txt y límites de tasa por host por defecto, sitemaps, rastreos enfocados por consulta, memoria acotada
  • Memoria: pico de 14–380 MB por trabajador en las pruebas de 0.81 (el mínimo, con 16 trabajadores en HTML y PDF); la capacidad se ajusta al límite de memoria del cgroup (sin OOM con 768 MiB)
  • No sirve para: OCR de PDF escaneados o imágenes; pagesift solo lee la capa de texto (ver cuándo usarlo más abajo)
  • Licencia: AGPL-3.0, o una licencia comercial
  • Última versión: 0.90.0 · notas de la versión

Instalación y uso

Instalación Primera llamada
CLI cargo install pagesift --locked pagesift scrape https://example.com
Python pip install pagesift pagesift.scrape("https://example.com").markdown
Node.js npm install @pagesift/node (await scrape("https://example.com")).markdown
Servidor docker run -p 3002:3002 ghcr.io/yolow92/pagesift:0.90.0 curl localhost:3002/r/https://example.com
MCP — claude mcp add pagesift -- pagesift mcp

CLI

pagesift scrape "https://news.ycombinator.com"              # Markdown a stdout
pagesift scrape report.pdf                                  # archivo local PDF, Office, EPUB, CSV o HTML
pagesift crawl "https://docs.rs" --limit 500 --out ./data/  # un archivo Markdown por página
pagesift crawl "https://www.example.edu" --query "graduate admission" --adaptive
pagesift map "https://docs.rs"                              # lista las URL de un sitio
pagesift doctor                                             # comprueba navegadores y entorno

Python

import pagesift

page = pagesift.scrape("https://example.com", formats=["markdown", "metadata"])
print(page.markdown)
print(page.metadata.title, page.metadata.published_date)

results = pagesift.scrape_many(["https://site1.com", "https://site2.com"], concurrency=8)

Node.js / TypeScript

import { scrape, scrapeMany } from '@pagesift/node'

const page = await scrape('https://example.com', { formats: ['markdown', 'links'] })
console.log(page.markdown)

for await (const p of scrapeMany(['https://a.com', 'https://b.com'], { concurrency: 4 })) {
  console.log(p.url, p.elapsedMs)
}

Servidor HTTP (compatible con Firecrawl y Jina Reader)

docker run -d -p 3002:3002 -v pagesift-data:/data \
  -e PAGESIFT_API_KEYS=sk-test ghcr.io/yolow92/pagesift:0.90.0
from firecrawl import FirecrawlApp

app = FirecrawlApp(api_url="http://localhost:3002", api_key="sk-test")  # código Firecrawl existente, URL nueva
print(app.scrape_url("https://example.com", params={"formats": ["markdown"]})["markdown"])
curl -s http://localhost:3002/r/https://example.com -H 'Authorization: Bearer sk-test'   # estilo Jina Reader
curl -s http://localhost:3002/v2/parse -H 'Authorization: Bearer sk-test' \
  -F [email protected] -F 'options={"formats":["markdown"]}'                            # sube un archivo

Endpoints: /v1 y /v2 scrape, batch/scrape, crawl, map; /v2/parse (subida de archivos, hasta 50 MB, detalles); /r/<url> (Markdown plano o text/event-stream).

Servidor MCP para agentes de IA

pagesift mcp                                    # stdio, para un agente
pagesift mcp http --port 3003                   # un servicio local compartido (solo 127.0.0.1)
claude mcp add --scope user --transport http pagesift http://127.0.0.1:3003/mcp

Herramientas: pagesift_scrape, pagesift_batch_scrape, pagesift_crawl, pagesift_crawl_status, pagesift_map. Navegadores y caché compartidos, un registro de auditoría y una herramienta para reportar problemas: servicio MCP compartido.

Cuándo usarlo y cuándo no

Encaja bien

  • Pasar páginas web y documentos a un LLM, un índice RAG o un agente, con Markdown que conserva encabezados, listas, tablas y enlaces
  • Alojar en tus propias máquinas un servicio al estilo de Firecrawl o Jina Reader, sin tarifas por página
  • Entrada mixta: la misma llamada maneja HTML, PDF, archivos de Office y libros electrónicos
  • Máquinas pequeñas y contenedores: la memoria está acotada y se dimensiona a partir del límite del cgroup

Elige otra cosa cuando

  • Los PDF escaneados o las imágenes necesitan OCR. pagesift solo lee la capa de texto; en 134 páginas escaneadas completó 0.112 frente a 1.000 de Docling en GPU. Usa Docling, olmOCR u otro pipeline de OCR.
  • Quieres el rastreo más rápido posible y no necesitas cortesía. pagesift espera entre peticiones al mismo host, respeta robots.txt y reintenta los fallos; spider es mucho más rápido en tiempo bruto de rastreo (1.4 s frente a 16.6 s en 40 sitios × 60 páginas).
  • La AGPL no te sirve y una licencia comercial no es una opción: usa una herramienta con licencia permisiva.
  • Necesitas hoy un servicio gestionado en la nube. pagesift es autoalojado; todavía no hay una API alojada abierta.

Rendimiento

↑ más alto es mejor · ↓ más bajo es mejor. El resultado más fuerte por dominio; métodos y fuentes en el informe completo.

Tarea Métrica PageSift Mejor otra herramienta Diferencia
PDF → Markdown — olmOCR-bench 1,269 pages, per page (single thread) ms/page ↓ 2.2 pypdf 50.0 ×22.32
HTML → Markdown — 600 generated documents, per page ms/page ↓ 0.24 Turndown 1.9 ×8.24
Main content — Firecrawl 597 pages, single thread p50 ms/page ↓ 1.0 crw 7.4 ×7.23
Publication dates — htmldate 1,000 pages, date search ms/page ↓ 0.31 htmldate (fast) 2.0 ×6.45
Office / e-books — B4 81 files, in-process files/s ↑ 94.1 Kreuzberg 19.5 ×4.82
RAG chunking — 5 corpora, 1.4 MB total ms ↓ 11 chonkie recursive 35 ×3.24
RAG query filter — 472 questions, default settings answer recall ↑ 0.929 Crawl4AI BM25 0.673 +0.256
Wild crawl — polite, 40 sites × 60 pages, coverage coverage ↑ 0.740 Crawl4AI (HTTP) 0.529 +0.211

Aún por detrás: A2 replay, 269 pages, 1 worker 2.4 pages/s vs spider 156.6 pages/s; fast, 40 sites × 60 pages, time 16.6 seconds vs spider 1.4 seconds; B5 134 pages, completion 0.112 vs Docling (GPU) 1.000.

El rendimiento de A2 se mide contra un servidor de reproducción en una sola dirección loopback, así que las 269 páginas cuentan como un mismo host. PageSift espera por defecto 1 s entre peticiones al mismo host; spider no tiene ese límite. Esta fila refleja sobre todo ese intervalo de cortesía, no la velocidad del motor.

Informe completo

Escala (0.70, origen local sintético, no velocidad en internet real): 200,000,000 de peticiones en 192 vCPU con 0 fallos a 947,611 páginas/s y 888 MiB de RSS máximo; dentro de un cgroup de 768 MiB mantuvo 817,346 páginas/s sin OOM. Fuentes: ejecución 0.70, todos los benchmarks.

Funciones

  • Extracción: detección del contenido principal, Markdown que conserva en ida y vuelta encabezados, listas, tablas, código y fórmulas; fechas de publicación; filtros CSS includeTags / excludeTags; avisos como partial_content, pages_missing, output_truncated en lugar de resultados incompletos en silencio
  • Documentos: lectores propios en Rust para PDF (árbol de estructura, marcadores, encabezados/pies de página, fuentes CJK sin ToUnicode, archivos dañados), Word, Excel, PowerPoint, EPUB y CSV
  • Renderizado: engine: auto descarga primero por HTTP y abre un navegador sin interfaz solo cuando eso aporta contenido; la imagen Docker incluye uno
  • Rastreo: rastreos enfocados (--query … --adaptive) que se detienen cuando las páginas dejan de aportar contenido relevante; adjuntos (PDF y archivos de Office enlazados); traza de rastreo por página; sitemaps; manejo de URL duplicadas y trampa; token buckets por host y espera progresiva ante 429/503
  • Operación: colas acotadas, capacidad dimensionada según la CPU y la memoria del cgroup, persistencia de trabajos, webhooks, límites por clave y métricas en el servidor; registro de auditoría de cada descarga
  • Seguridad: protecciones contra redes privadas y DNS rebinding por defecto (--allow-cidr para habilitarlas explícitamente), navegador en sandbox

Arquitectura: architecture.md.

Licencia

AGPL-3.0. Para enlazar con software propietario o desplegar en privado sin las obligaciones de la AGPL, consulta la licencia comercial o escribe a [email protected].

Novedades en 0.90.0

La mayoría de los límites, tiempos de espera y umbrales que antes eran fijos ahora se estiman a partir de lo que observa el proceso: parten de los valores de 0.81.5 y solo cambian cuando la diferencia es estadísticamente significativa. Además: decisiones de renderizado por familia de rutas con traza explain, renderizado especulativo, caché binaria, salidas --out / --warc, streams de rastreo y lotes, fragmentación RAG según la estructura de bloques, control de calidad por página en PDF y exportación de imágenes, un pool de salidas y roles multiservidor (gateway, worker, standby). Notas de la versión · todas las versiones · CHANGELOG


Comunidad

Preguntas o comentarios: Discord · Issues · Discussions

Cita

@software{pagesift2026,
  title  = {PageSift: Rust Web and Document Extraction Engine for AI Pipelines},
  author = {YOLOW92},
  year   = {2026},
  url    = {https://github.com/YOLOW92/pagesift},
  note   = {Version 0.90.0}
}

Historial de estrellas