Was ist das?
ETL/ELT-Pipelines bauen und reparieren, Transformationen standardisieren und Tests + Observability hinzufügen.
Für wen ist das?
- KMUs, die von Spreadsheets/manuellen Exporten skalieren
- Startups mit “Daten brechen jede Woche”
- Teams, die dbt/Airflow/Warehouse Best Practices einführen
- Agenturen, die zuverlässige Client-Reporting-Pipelines brauchen
Typische Engagements
Pipeline & Datenqualitäts-Audit (1–2 Wochen)
- Quellen → Transformationen → Outputs kartieren
- Ausfallpunkte, Kosten, Engpässe identifizieren
- Priorisierten Plan vorschlagen
ELT-Stack bauen/refaktorieren (3–10 Wochen)
- dbt-Projektstruktur (Staging/Marts)
- Airflow-Orchestrierung + Backfills
- Tests + Dokumentation + Lineage
- Alerting (Slack/Email)
Betrieb & Verbesserung (monatlich)
- Ausfälle überwachen, Zuverlässigkeit verbessern
- Kosten/Performance optimieren
- Neue Quellen und Marts hinzufügen
Deliverables
- Repo: dbt-Modelle + Orchestrierung + Tests
- Monitoring/Alerting konfiguriert + dokumentiert
- Runbooks (“was tun wenn X ausfällt”)
- Übergabe-Workshop
Für technische Leser
- dbt-Modelldesign (Staging → Intermediate → Marts)
- Inkrementelle Modelle, Snapshots, SCD-Patterns
- Airflow-DAG-Patterns, Backfills, Idempotenz
- Automatisierte Tests (dbt-Tests, Custom Checks)
- Monitoring: Freshness, Anomalieerkennung, SLA-Alerts
- Dokumentation: Lineage, Source Freshness, Runbooks
Warum ich gut darin bin
- Robuste ETL-Pipelines mit dbt + Airflow mit automatisierten Tests und Qualitätschecks gebaut
- Erfahrung mit modernen Warehouses und operativem Monitoring
- Erfahren darin, Geschäftsanforderungen mit dauerhaften Engineering-Patterns zu verbinden
Wie ich arbeite
- Mit einem kleinen “vertikalen Schnitt” Pipeline End-to-End starten
- Tests + Monitoring früh hinzufügen (nicht als Nachgedanke)
- Ownership und Definitionen kontinuierlich dokumentieren