ETL-Starter: Sheets/CSV/Stripe/Shopify → Postgres + Dashboard (Quellcode)

Von Rohdaten zu Insights in einem Nachmittag: Verbinde Google Sheets/CSV/Stripe/Shopify, transformiere mit dbt und analysiere alles in einem fertigen Metabase-Dashboard. Lokal, reproduzierbar, CI-bereit.

Highlights

• Plug-and-Play-Connectoren:

  • Sheets/CSV: Datei-Watcher, Tabellennamen-Mapping, Schemainferenz.

  • Stripe: Zahlungen, Erstattungen, Abos, Kunden (API oder CSV-Export).

  • Shopify: Bestellungen, Line Items, Produkte, Kunden (API oder Bulk-CSV).

• dbt-Transformationen: Saubere Staging-Modelle, Dim/Fact-Sterne, inkrementelle Loads, Tests & Dokumentation.

• Datenqualität out-of-the-box: dbt-Tests (Not Null, Unique, Referential), optionale Great Expectations-Checks.

• Postgres-Warehouse: Vorkonfigurierte Schemata, Indizes, Partitions-Optionen.

• Visualisierung: Metabase mit vorgefertigten Dashboards (Umsatz, AOV, Kohorten, Funnel, Top-Produkte, MRR/Churn für Stripe).

• Orchestrierung: Prefect-Flows (oder Cron) inkl. Retry, Logging & E-Mail-Benachrichtigung bei Fehlern.

• Reproduzierbar: Docker Compose startet Extract → Load → Transform → Dashboard in einem Rutsch.

Für wen?

Indie-Shops, Startups, Agenturen, Operations/Finance – alle, die ohne Abo-SaaS ein eigenes, kontrolliertes Daten-Setup wollen.

So funktioniert’s

1. Quellen wählen & .env ausfüllen: API-Keys/URLs, Tabellenblätter, CSV-Ordner.

2. docker compose up: Extractor lädt Daten nach Postgres, dbt baut Staging/Models.

3. Dashboard öffnen: Metabase zeigt fertige Berichte; Filter, Segmente & KPI-Kacheln sind vorkonfiguriert.

4. Planen & skalieren: Prefect-Schedule (z. B. stündlich/täglich) aktivieren; weitere Quellen ergänzen.

Lieferumfang (Download, ZIP)

• Voller Quellcode:

  • Extractors (Python) für Sheets/CSV/Stripe/Shopify

  • dbt-Projekt (Staging, Dimensions, Facts, Inkrementalität, Seeds)

  • Prefect-Flows (Schedule, Retry, E-Mail-Alerts)

  • Metabase: Beispiel-Dashboards, Metriken, Segmente

• Docker Compose (Postgres, Metabase, Orchestrierung)

• Schema-Doku & ER-Diagramme (dbt docs)

• Beispieldaten & Seeds zum lokalen Testen

• Tests (Unit + dbt-Tests)

• README (Quickstart < 15 Min), .env-Vorlagen, CI-Beispiel (GitHub Actions)

Technische Daten

• Stack: Python 3.10+, dbt-core (Postgres), Prefect, Postgres 14, Metabase, Docker Compose

• Konnektoren: Google Sheets API (Service-Account), Stripe/Shopify via API oder CSV-Export

• Leistung: Streaming-CSV-Import, Batch-Größe konfigurierbar, Indizes/Partitionen, inkrementelle Modelle

• Sicherheit: Least-Privilege-DB-User, Secrets per .env/Docker secrets, keine Keys im Repo

• Erweiterbarkeit: Zusätzliche Quellen (z. B. Facebook Ads, GA4) über neue Extractor-Module/Views

Recht & Nutzung

• Einmalzahlung, kompletter Quellcode. 6 Monate Nutzungslizenz. Eigene Nutzung & Anpassung für private/geschäftliche Projekte. Kein DRM.

FAQ

Brauche ich einen Server?
Nein, lokal mit Docker startbar. Optional auf einem kleinen VPS/Cloud-Runner betreiben.

Geht das ohne API-Zugriff?
Ja – Stripe/Shopify funktionieren auch über offizielle CSV-Exporte. Einfach Ordner/Datei angeben.

Unterstützt ihr inkrementelle Updates?
Ja. Bookmarks (created/updated_at) sorgen für schnelle Folgeläufe.

Kann ich das Warehouse tauschen (z. B. BigQuery/Snowflake)?
Ja. dbt-Modelle sind portierbar; Adapter/Profiles sind vorbereitet (Beispiele enthalten).

Wie plane ich tägliche Pipelines?
Mit Prefect-Schedules (cronartig) oder klassisch via Cronjob/CI-Workflow.

Welche KPIs sind inkludiert?
Umsatz/Tag, AOV, Kohorten (Erstkauf/Retention), Produkt-Toplisten, Funnel-Schritte; bei Stripe: MRR, Churn, Expansion/Contraction.