airscholar/FootballDataEngineering

airscholar/FootballDataEngineering has 31 GitHub stars and 27 forks. Star changes are not measured yet. Last checked 2026-11-10 04:23 UTC. Last push 2023-10-02.

Cómo se miden estas cifras

An end-to-end data engineering pipeline that fetches data from Wikipedia, cleans and transforms it with Apache Airflow and saves it on Azure Data Lake. Other processing takes place on Azure Data Factory, Azure Synapse and Tableau.

31 estrellas 27 forks

Crecimiento de estrellas medido

in 24h: Actualización retrasada
in 7 days: Actualización retrasada
in 15 days: Actualización retrasada
in 1 month: Actualización retrasada

Cambios netos en períodos que se solapan, no totales diarios. Los datos no disponibles se dejan en blanco. Las estrellas indican interés, no calidad.

README.md

Original

Football Data Engineering

This Python-based project crawls data from Wikipedia using Apache Airflow, cleans it and pushes it Azure Data Lake for processing.

System Architecture

Requirements

Python 3.9 (minimum)
Docker
PostgreSQL
Apache Airflow 2.6 (minimum)

Getting Started

Clone the repository.

git clone https://github.com/airscholar/FootballDataEngineering.git

Install Python dependencies.
```
pip install -r requirements.txt
```

Running the Code With Docker

Start your services on Docker with
```
docker compose up -d
```
Trigger the DAG on the Airflow UI.

How It Works

Fetches data from Wikipedia.
Cleans the data.
Transforms the data.
Pushes the data to Azure Data Lake.

Video

Explorar proyectos relacionados

Asabeneh/30-Days-Of-Python

El reto de programación 30 Days of Python es una guía paso a paso para aprender el lenguaje de programación Python en 30 días. Este reto puede llevar más de 100 días. Sigue tu propio ritmo. Estos vídeos también pueden ayudarte: https://www.youtube.com/channel/UC7PNRuno1rzYPb1xLa4yktw

78,560 estrellas