Skip to content
プロジェクト

mdh266/AirflowDataPipeline

GitHubで見る

mdh266/AirflowDataPipeline has 39 GitHub stars and 19 forks. GitHot measured 0 stars in 24 hours. Last checked 2026-11-15 10:07 UTC. Last push 2017-08-30.

この数値の測り方

計測したスター増加

24時間
0
7日間
履歴を収集中
15日間
履歴を収集中
1か月
履歴を収集中

期間ごとの純増数です。期間は重複しており、日別の値ではありません。未計測の値は空欄です。スター数は注目度の指標であり、品質の保証ではありません。

概要

Example of an ETL Pipeline using Airflow

データ

Airflow Data Pipeline

This example walks through how to set up an ETL pipeline using Airflow. I set up at DAG to query the openweathermap.org API everyday, process the json data and store it in a PostgreSQL database. For explanation of how this code works see this blog post

Requirements

Airflow

Python 2.7

PostgreSQL

psycopg

SQLAlchemy

SQLAlchemy-Utils

To install the requirements (except for Python and postgres) type:

pip install -r requirements.t