Skip to content
Projekte

kay-ou/SimTradeData has 96 GitHub stars and 34 forks. GitHot measured 0 stars in 24 hours. Last checked 2026-11-15 16:27 UTC. Last push 2026-11-13.

So werden diese Zahlen gemessen

Gemessener Sternzuwachs

in 24h
0
in 7 days
Aktualisierung verzögert
in 15 days
Aktualisierung verzögert
in 1 month
Aktualisierung verzögert

Nettoänderungen in überlappenden Zeiträumen, keine Tagessummen. Fehlende Messwerte bleiben leer. Sterne zeigen Interesse, nicht Qualität.

Über uns

SimTradeData is a utility library supporting SimTradeDesk, SimTradeLab and simtradeML with reliable, high-quality simulated trading data for model training, backtesting, and performance evaluation.

Daten

README_de.md

Original

English | 中文 | Deutsch

SimTradeData - Quantitativer Handelsdaten-Downloader

Python 3.10+ License: AGPL-3.0 Version DuckDB Parquet Code Style: Black uv

BaoStock + Mootdx + EastMoney + yfinance Multi-Quelle | Chinesische A-Aktien + US-Aktien | PTrade-kompatibel | DuckDB + Parquet-Speicherung

SimTradeData ist ein effizientes Daten-Download-Tool für SimTradeLab. Es unterstützt chinesische A-Aktien (BaoStock, Mootdx, EastMoney) und US-Aktien (yfinance) aus mehreren Datenquellen mit automatischer Orchestrierung der jeweiligen Stärken. Daten werden in DuckDB als Zwischenspeicher gespeichert und ins Parquet-Format exportiert, mit effizienten inkrementellen Updates und Abfragen.


Empfohlene Kombination: SimTradeData + SimTradeLab

Voll PTrade-kompatibel | A-Aktien + US-Aktien | 20x+ Backtesting-Beschleunigung

SimTradeLab

Keine PTrade-Strategieänderungen nötig | Ultraschnelles lokales Backtesting | Kostenlose Lösung


Hauptmerkmale

Effiziente Speicherarchitektur

  • DuckDB-Zwischenspeicher: Hochleistungs-Spaltendatenbank mit SQL-Abfragen und inkrementellen Updates
  • Parquet-Exportformat: Hoch komprimiert, plattformübergreifend kompatibel, ideal für Massendatenanalyse
  • Automatische inkrementelle Updates: Erkennt vorhandene Daten intelligent, lädt nur neue Datensätze herunter

Umfassende Datenabdeckung

  • Marktdaten: OHLCV-Tagesbalken mit Limit-Up/Down-Preisen und Vortagesschluss
  • Bewertungskennzahlen: KGV/KBV/KUV/KCV/Umschlagshäufigkeit/Gesamtaktien/Streubesitz
  • Finanzdaten: 23 vierteljährliche Finanzkennzahlen + automatische TTM-Berechnung
  • Kapitalmaßnahmen: Dividenden, Bonusaktien, Bezugsrechte (mit Vorwärts-Anpassungsfaktoren)
  • Metadaten: Aktieninfo, Handelskalender, Indexbestandteile, ST/Aussetzungsstatus
  • US-Aktien: 6.000+ US-Stammaktien, S&P 500 / NASDAQ-100 Indexbestandteile

Datenqualitätssicherung

  • Auto-Validierung: Datenintegritätsprüfung vor dem Schreiben
  • Export-Berechnung: Limitpreise, TTM-Kennzahlen werden beim Export berechnet
  • Detailliertes Logging: Umfassende Fehlerprotokolle und Warnungen

Generierte Datenstruktur

data/
├── cn.duckdb                        # DuckDB-Datenbank - A-Aktien (Download-Quelle)
├── us.duckdb                        # DuckDB-Datenbank - US-Aktien (Download-Quelle)
└── export/                          # Exportierte Parquet-Dateien (nach Markt)
    ├── cn/                          # A-Aktien-Export
    │   ├── stocks/                  # Tagesbalken (eine Datei pro Aktie)
    │   │   ├── 000001.SZ.parquet
    │   │   └── 600519.SS.parquet
    │   ├── exrights/                # Kapitalmaßnahmen
    │   ├── fundamentals/            # Quartalsfinanzdaten (mit TTM)
    │   ├── valuation/               # Bewertungskennzahlen (täglich)
    │   ├── metadata/                # Metadaten
    │   └── manifest.json
    └── us/                          # US-Aktien-Export
        ├── stocks/
        │   ├── AAPL.US.parquet
        │   └── MSFT.US.parquet
        ├── exrights/
        ├── fundamentals/
        ├── valuation/
        ├── metadata/
        └── manifest.json

Voraussetzungen

  • Python: 3.10 oder höher
  • uv: Installationsanleitung
  • Netzwerk: Zum Herunterladen von Daten erforderlich (für A-Aktien-Daten wird ein chinesisches Festlandnetzwerk empfohlen)

Schnellstart

Option 1: Vorgefertigte Daten herunterladen (Empfohlen)

Laden Sie die neuesten Daten von Releases herunter:

  • A-Aktien: data-cn-v* Release → nach data/cn/ entpacken
  • US-Aktien: data-us-v* Release → nach data/us/ entpacken
# A-Aktien
mkdir -p /path/to/SimTradeLab/data/cn
tar -xzf simtradelab-data-cn-*.tar.gz -C /path/to/SimTradeLab/data/cn/

# US-Aktien
mkdir -p /path/to/SimTradeLab/data/us
tar -xzf simtradelab-data-us-*.tar.gz -C /path/to/SimTradeLab/data/us/

Option 2: Daten selbst herunterladen

1. Abhängigkeiten installieren

git clone https://github.com/kay-ou/SimTradeData.git
cd SimTradeData
uv sync

2. Daten herunterladen

Empfohlen: Einheitlicher Download-Befehl

Ein Befehl lädt alle Daten herunter, nutzt das TDX-Tagespaket für den schnellen OHLCV-Pfad und orchestriert danach Mootdx und BaoStock:

# Tägliche/produktive CN-Aktualisierung (empfohlen)
uv run python scripts/download.py --tdx-download --skip-mootdx-ohlcv

# Vollständige Fallback-Orchestrierung ohne TDX-Paket
uv run python scripts/download.py

# Bereits heruntergeladene TDX-ZIP-Datei verwenden
uv run python scripts/download.py --tdx-source data/downloads/hsjday.zip --skip-mootdx-ohlcv

# Datenstatus prüfen
uv run python scripts/download.py --status

# Finanzdaten überspringen (schneller)
uv run python scripts/download.py --tdx-download --skip-mootdx-ohlcv --skip-fundamentals

Arbeitsteilung der Datenquellen

Datentyp Quelle Grund
OHLCV-Marktdaten (taeglich/Vollhistorie) TDX-Tagespaket Am schnellsten, ~500MB Massenimport plus aktuelle Tagesdaten
OHLCV-Marktdaten (Fallback/Backfill) Mootdx Fallback pro Symbol, wenn das TDX-Paket nicht verfuegbar ist
Kapitalmaßnahmen (XDXR) Mootdx Vollständigere Daten
Massenfinanzdaten Mootdx Ein ZIP = alle Aktien
Bewertung KGV/KBV/KUV/Umschlag BaoStock Exklusive Daten
ST/Aussetzungsstatus BaoStock Exklusive Daten
Indexbestandteile BaoStock Exklusive Daten
Handelskalender Mootdx Liefert den Boersenkalender
Benchmark-Index Mootdx Liefert Benchmark-Zeitreihen

US-Aktiendaten (yfinance)

# Vollständiger Download (6.000+ US-Aktien mit OHLCV + Finanzdaten + Bewertung + Metadaten)
uv run python scripts/download_us.py

# Bestimmte Symbole (für kleine Tests)
uv run python scripts/download_us.py --symbols AAPL,MSFT,GOOGL

3. Nach Parquet exportieren

# A-Aktien exportieren → data/export/cn/
uv run python scripts/export_parquet.py

# US-Aktien exportieren → data/export/us/
uv run python scripts/export_parquet.py --market us

# Benutzerdefiniertes Ausgabeverzeichnis
uv run python scripts/export_parquet.py --market cn --output /custom/path

Der normale Export erstellt das Zielverzeichnis vollständig aus DuckDB neu; er führt die vorhandenen Parquet-Dateien nicht direkt zusammen.

4. Daten veröffentlichen (Maintainer)

Beide Vertriebskanäle verwenden denselben DuckDB-/Parquet-Snapshot, veröffentlichen aber unterschiedliche Artefakte:

  • GitHub Releases veröffentlicht ausschließlich vollständige Baseline-Archive.
  • Tencent COS veröffentlicht eine vollständige Baseline und, wenn die vorherige COS-Version sicher fortgeschrieben werden kann, zusätzlich ein inkrementelles Archiv. Der Index releases.json macht beide für Clients auffindbar.
# A-Aktiendaten auf GitHub veröffentlichen
bash scripts/release_data.sh --market cn

# Die Release-Version stammt aus data/export/<market>/manifest.json

# Baseline und, wenn möglich, ein Delta auf Tencent COS veröffentlichen
COS_SECRET_ID=... COS_SECRET_KEY=... bash scripts/release_data.sh \
  --market cn --publish-targets cos --cos-bucket BUCKET --cos-region REGION

5. In SimTradeLab verwenden

rsync -a data/export/cn/ /path/to/SimTradeLab/data/cn/
rsync -a data/export/us/ /path/to/SimTradeLab/data/us/

Datenfeld-Referenz

stocks/ - Tägliche Aktienbalken

Feld Beschreibung
date Handelstag
open/high/low/close OHLC-Preise
high_limit/low_limit Limit-Up/Down-Preise (beim Export berechnet)
preclose Vortagesschluss
volume Handelsvolumen (Aktien)
money Handelsbetrag (CNY)

valuation/ - Bewertungskennzahlen (Täglich)

Feld Beschreibung
pe_ttm/pb/ps_ttm/pcf Bewertungskennzahlen
roe/roe_ttm/roa/roa_ttm Rentabilitätskennzahlen
naps Nettovermögen je Aktie
total_shares/a_floats Gesamtaktien / Streubesitz
turnover_rate Umschlagshäufigkeit

fundamentals/ - Finanzdaten (Vierteljährlich)

Enthält 23 Finanzkennzahlen und deren TTM-Versionen. Details siehe PTRADE_PARQUET_FORMAT.md.

Datenquellen-Vergleich

Merkmal BaoStock Mootdx API EastMoney TDX-Paket yfinance (US)
Markt A-Aktien A-Aktien A-Aktien A-Aktien US-Aktien
Geschwindigkeit Langsamer Schnell Schnell Am schnellsten Mittel
Bewertungsdaten Ja Nein Nein Nein Ja (berechnet)
Finanzdaten Ja (pro Aktie) Ja (Massen-ZIP) Nein Nein Ja (pro Aktie)
Geldfluss Nein Nein Ja (exklusiv) Nein Nein
API-Schlüssel Nicht erforderlich Nicht erforderlich Nicht erforderlich N/A Nicht erforderlich

Inkrementeller Aktualisierungsablauf

# 1. Nur neue Daten herunterladen; vorhandene Daten werden übersprungen
uv run python scripts/download.py --tdx-download --skip-mootdx-ohlcv

# 2. Vollständigen Parquet-Snapshot exportieren (ersetzt das Ausgabeverzeichnis)
uv run python scripts/export_parquet.py

# 3. Nur für Maintainer: eigenständiges Delta-Paket exportieren
uv run python scripts/export_parquet.py --delta --base-version 2026-06-20 --target-version 2026-06-22

Der Delta-Export erzeugt ein separates Paket mit den geänderten Zeilen der Symboltabellen und einem Manifest für das angegebene Versionsfenster.

Endnutzer führen diesen Delta-Befehl nicht aus und wählen keinen Aktualisierungsmodus. SimTradeDeskX fordert bei SimTradeAPI eine automatische Aktualisierung an: Zuerst wird ein konfigurierter dynamischer Delta-Endpunkt verwendet, danach eine statische COS-Delta-Kette. Bei der Erstinstallation, einer unvollständigen Delta-Kette oder einem fehlgeschlagenen Delta wird automatisch auf eine vollständige Baseline zurückgegriffen. Die API wendet die gesamte Delta-Kette zunächst auf einen Snapshot an und veröffentlicht ihn anschließend durch atomaren Verzeichnistausch. Bei einem Fehler bleiben die bisherigen nutzbaren Daten erhalten. GitHub Releases dienen als vollständiger Baseline-Fallback; COS unterstützt die indexierte inkrementelle Verteilung.

Tests

uv run pytest tests/ -v

Verwandte Links

💖 Sponsoring

Wenn dieses Projekt Ihnen hilft, erwägen Sie eine Spende!

WeChat Pay Alipay
WeChat Pay Alipay

Lizenz

Dieses Projekt ist unter AGPL-3.0 lizenziert. Siehe LICENSE.


Status: Produktionsbereit | Version: v1.2.0 | Letzte Aktualisierung: 2026-03-13