scrapfly/scrapfly-scrapers
scrapfly/scrapfly-scrapers has 1,128 GitHub stars and 207 forks. GitHot measured +2 stars in 24 hours and +11 in 7 days. Last checked 2026-11-12 06:37 UTC. Last push 2026-11-02.
Scalable Python web scraping scripts for +40 popular domains
Crecimiento de estrellas medido
- in 24h
- +2
- in 7 days
- +11
- in 15 days
- Recopilando historial
- in 1 month
- Recopilando historial
Cambios netos en períodos que se solapan, no totales diarios. Los datos no disponibles se dejan en blanco. Las estrellas indican interés, no calidad.
docs/README.es.md
OriginalScrapFly Scrapers 🕷️
English · 简体中文 · 日本語 · Español · Русский
Este repositorio contiene scrapers de ejemplo, con fines educativos, para sitios web populares, usando la API de web scraping de ScrapFly y Python.
La mayoría de los scrapers usan un stack sencillo:
- Python 3.10 o superior
- El SDK de Python de Scrapfly para enviar peticiones HTTP, evitar bloqueos y analizar el HTML con el selector parsel incluido.
- asyncio para escribir código concurrente con la sintaxis async/await.
- JMESPath y nested-lookup para analizar JSON cuando hace falta.
- loguru para los logs.
Para aprender más sobre web scraping y ver cómo extraer datos de estos sitios (y de muchos otros), consulta nuestros tutoriales completos en el directorio scrapeguide.
Para agentes de IA y herramientas de LLM, llms.txt lista cada scraper con sus funciones y su salida de ejemplo, y explica cómo ejecutar un scraper y cómo escribir uno nuevo.
Inicio rápido
Cada scraper vive en su propia carpeta y funciona por separado (Python 3.10+ y Poetry):
git clone https://github.com/scrapfly/scrapfly-scrapers.git
cd scrapfly-scrapers/airbnb-scraper # cualquier carpeta de la lista de abajo
export SCRAPFLY_KEY="YOUR SCRAPFLY KEY" # desde https://scrapfly.io/dashboard
poetry install --no-root
poetry run python run.py # scraping de ejemplo, guarda su salida en ./results
poetry run pytest test.py # los tests del scraper
El README de cada carpeta indica qué datos extrae ese scraper.
Lista de scrapers
Esta es la lista de scrapers disponibles para los sitios soportados, con su guía de scraping, los datos de ejemplo y su estado. 👇
El estado viene de la ejecución nocturna de los tests, que también ordena la tabla: primero los scrapers cuyos tests pasan, y al final los que fallan o no se probaron.
La insignia indica passing (pasaron todos los tests), N/M passing (pasaron algunos), failing (no pasó ninguno) o not run (no se ejecutó); al hacer clic se ven los últimos resultados de ese scraper, con un enlace al log de cada test.
Uso justo y aviso legal
Este repositorio contiene material de referencia educativo para mostrar lo accesible que puede ser el web scraping; los programas incluidos no están pensados para usarse en scraping en producción. Dicho esto, el equipo de Scrapfly actualiza y mejora todo este código de forma constante para ofrecer la mejor experiencia.
Scrapfly no ofrece asesoramiento legal y, como siempre, consulta a un abogado cuando crees programas que interactúen con sitios web de otras personas. Aun así, esta es una buena introducción general a lo que NO se debe hacer:
- No almacenes información de identificación personal (PII) de ciudadanos de la UE protegidos por el RGPD.
- No extraigas ni reutilices conjuntos de datos públicos completos, que en algunos países pueden estar protegidos por leyes de protección de bases de datos.
- No hagas scraping a un ritmo que pueda dañar el sitio web, y extrae solo datos disponibles públicamente.
Licencia
Este repositorio se publica bajo la Non-Profit Open Software License 3.0.
Explorar proyectos relacionados
n8n-io/n8n
Plataforma Fair-code de automatización de flujos de trabajo con capacidades nativas de IA. Combina la creación visual con código personalizado, se puede alojar en tus propios servidores o en la nube y ofrece más de 400 integraciones.
210,257 estrellaslanggenius/dify
Crea flujos de trabajo de agentes y canalizaciones RAG, con amplio soporte de modelos y herramientas de IA, en un único espacio de trabajo colaborativo. Despliega en la nube, en una VPC o en tus propios servidores para que los equipos pasen del prototipo a producción sin reconstruir la pila.
160,951 estrellasmicrosoft/PowerToys
Microsoft PowerToys es un conjunto de utilidades que potencian la productividad y la personalización en Windows
140,888 estrellasstablyai/orca
Orca es el lugar para trabajar con una flota de agentes (p. ej., Grok Bot y Claude Code). Ejecuta cualquier agente de programación con tu propia suscripción. Disponible en escritorio, móvil y tiempo de ejecución remoto.
122,845 estrellas