We use essential technologies to keep Swiftcruit secure and running. With your permission, we also use analytics and marketing technologies to understand usage and improve the product. You can change this anytime from Cookie Settings in the footer. Read our Cookie Policy.
Data Engineer, w & m at rhe in Holzwickede, Germany | Swiftcruit
Du entwickelst und betreibst Datenpipelines auf unserer cloud-nativen Enterprise Data Platform (EDP) und arbeitest eng mit Analytics-Teams sowie Fachbereichen zusammen, um Datenprodukte für Reporting, Analytics und operative Prozesse bereitzustellen.
Außerdem integrierst du Daten aus unterschiedlichsten Quellen (z. B. APIs, Datenbanken, Streaming, Files) in unsere Plattform und stellst deren zuverlässige Verarbeitung und Verfügbarkeit sicher.
Zudem konzipierst, implementierst und betreibst du skalierbare Datenpipelines (Batch & Streaming) auf Basis von Spark, Delta Lake und Kubernetes – von der Ingestion bis zur Bereitstellung im Gold Layer.
Unsere Enterprise Data Platform (EDP) entwickelst du kontinuierlich weiter und arbeitest mit einer modernen Lakehouse-Architektur (Delta Lake, Medaillenmodell) in einer Multi-Tenant-Umgebung auf AWS.
What You Bring:
Dein Studium der (Wirtschafts-)Informatik oder eine vergleichbare Ausbildung hast du erfolgreich abgeschlossen – oder bringst entsprechende praktische Erfahrung im Data Engineering mit.
Du hast Erfahrung in Datenmodellierung und der Verarbeitung großer Datenmengen sowie ein gutes Verständnis für Datenqualität, Transformation und Datenflüsse.
Außerdem kennst du dich mit Cloud-Technologien (idealerweise AWS) sowie mit modernen Data-Stack-Komponenten wie Spark, Kubernetes oder Workflow-Orchestrierung (z. B. Airflow) aus und verfügst über sehr gute Programmierkenntnisse in Python und PySpark.
Begriffe und Konzepte wie Kubernetes, Clean Code, Medallion Architecture, OOP oder Kafka sind für Dich keine Fremdwörter.
Du arbeitest strukturiert, übernimmst Ownership für deine Themen und bewegst dich gekonnt in einem Git-basierten, kollaborativen Entwicklungsumfeld.
Mit deinen fließenden Deutsch- und Englischkenntnissen kommunizierst du sicher im technischen Kontext.
