Data Engineer (all Genders) mit Schwerpunkt Databricks at rheindata GmbH

Cologne, North Rhine-Westphalia, Germany -

Full Time

Start Date

Immediate

Expiry Date

08 Jun, 26

Salary

0.0

Posted On

10 Mar, 26

Experience

2 year(s) or above

Remote Job

Yes

Telecommute

Yes

Sponsor Visa

Skills

Spark, Delta Lake, PySpark, ETL/ELT Pipelines, Medallion Architecture, ADLS, Azure Data Factory, Git, CI/CD Workflows, Azure DevOps, Data Modeling, Databricks Jobs, Structured Streaming, Kafka, MLflow, Power BI

Industry

IT Services and IT Consulting

Description

Unternehmensbeschreibung Bei rheindata glauben wir daran, dass Daten mehr sind als Zahlen – sie sind Entscheidungsgrundlagen, Wachstumstreiber und Innovationsmotoren. Unsere Mission: Aus Daten echten, messbaren Mehrwert zu schaffen. Wir entwickeln moderne Data Pipelines, Datenplattformen, BI‑Lösungen und KI‑Modelle, die skalierbar und langfristig wartbar sind. Wir arbeiten agil, transparent und wertschätzend, sowohl intern als auch in Kundenteams. Unsere Kultur lebt von Teamgeist: Sommerfeste, Quartals- und Teamtreffen und Weihnachtsfeiern gehören bei uns selbstverständlich dazu. Wir möchten, dass jede Person sich einbringt, wohlfühlt und wachsen kann. Stellenbeschreibung Als Data Engineer (m/w/d) mit Schwerpunkt Databricks wirst du ein entscheidender Teil unserer datengetriebenen Lösungen. Du entwickelst moderne Data Pipelines, unterstützt bei Architekturentscheidungen und sorgst dafür, dass Daten fließen, wo sie gebraucht werden – sauber, performant und skalierbar. Du arbeitest an spannenden Projekten rund um Lakehouse‑Architekturen, Data Pipelines und Cloud‑Plattformen – und bekommst viel Gestaltungsspielraum. Deine Aufgaben: Aufbau und Weiterentwicklung moderner Data Pipelines auf Basis von Databricks, Spark und Delta Lake Modellierung und Strukturierung von Daten für Analytics-, BI- und KI‑Use‑Cases Integration verschiedener Datenquellen (strukturiert, semi‑strukturiert, unstrukturiert) Unterstützung beim Design und der Umsetzung von Lakehouse‑Architekturen Orchestrierung und Automatisierung von Pipelines (z. B. Databricks Jobs) Zusammenarbeit mit Data Scientists, BI‑Entwicklern und Kundenteams Sicherstellen von Performance, Stabilität & Observability Qualifikationen Was du mitbringst (Must‑Have Skills) Wir fokussieren uns auf das, was wirklich zählt: Core Engineering Sehr gute Kenntnisse in Spark, Delta Lake und PySpark Erfahrung im Aufbau von ETL/ELT‑Pipelines (idealerweise Medallion‑Architektur) Erfahrung mit Azure‑Services wie ADLS und Azure Data Factory Souveräner Umgang mit Git und CI/CD‑Workflows (z. B. Azure DevOps) Grundlagen der Datenmodellierung (Star Schema, 3NF oder Data Vault) Plattform & Orchestrierung Erfahrung mit Databricks‑Jobs, Pipelines oder ähnlichen Orchestrierungsmechanismen Arbeitsweise Qualitätsbewusstsein: Du möchtest saubere, wartbare Datenlösungen bauen Bereitschaft, dich weiterzuentwickeln und Neues zu lernen Kommunikation auf Augenhöhe – im Team und beim Kunden Nice to have (kein Muss, aber ein Plus) Streaming (Structured Streaming, Kafka) MLflow Power BI oder dbt Erfahrung mit mehreren Clouds (AWS/GCP Databricks) Cluster Management & Kostenoptimierung Data Governance (z. B. Unity Catalog oder Rollenmodelle) Wenn du nicht alles davon kannst – kein Problem. Bei uns zählt Lernbereitschaft mehr als Perfektion. Zusätzliche Informationen Warum du bei uns gerne arbeiten wirst 💛Ein Team, das dich wirklich willkommen heißt Wir leben echte Zusammenarbeit und stärken unser Miteinander durch eine Vielzahl von Teamaktivitäten. 🎯Projekte, die Wirkung zeigen Wir entwickeln analytische Lösungen, die unseren Kund*innen echte Fortschritte ermöglichen – von Data Engineering über BI bis Data Science. 📈Deine Weiterentwicklung ist uns wichtig Du arbeitest mit erfahrenen Kolleg*innen, bekommst Raum für Wachstum und wirst auf Wunsch aktiv gefördert. 🔍Qualität und Nachhaltigkeit im Fokus Wir legen Wert auf Sorgfalt, Wartbarkeit und enge Abstimmung – Lösungen sollen langfristig funktionieren. 🌱Moderne Arbeitsweise Agil, transparent, offen – mit viel Raum für Eigenverantwortung und Einfluss auf technische Entscheidungen. Zudem bieten wir dir: unbefristete Festanstellung mit 6 Wochen Urlaub eine deinen Bedürfnissen entsprechende Einarbeitungsphase mit Begleitung durch ein Mentoring Programm, die Teilnahme an unserem Mitarbeiter-Beteiligungsprogramm, eine kostenlose M-Mitgliedschaft bei Urban Sports Club und vergünstigte Konditionen bei L- und XL-Tarifen, neben einem attraktiven Vergütungspaket erhältst du natürlich ein Notebook und ein Smartphone sowie weitere Zusatzleistungen wie z.B. Deutschlandticket, JobRad und/oder betriebliche Altersvorsorge, je nach Kunden die Möglichkeit im Homeoffice zu arbeiten – wobei du in unserem Büro im Herzen von Köln immer willkommen bist, die Möglichkeit zu individuell gestaltbaren Sabbaticals.

Responsibilities

The role involves developing modern Data Pipelines based on Databricks, Spark, and Delta Lake, and supporting architectural decisions to ensure data flows cleanly, performantly, and scalably. Responsibilities include modeling data for various use cases, integrating diverse data sources, and implementing Lakehouse architectures.