Senior Data Engineer at Data Insights AI Ltd
Berlin, Berlin, Germany -
Full Time


Start Date

Immediate

Expiry Date

27 Dec, 26

Salary

50000.0

Posted On

28 Sep, 26

Experience

4 year(s) or above

Remote Job

Yes

Telecommute

Yes

Sponsor Visa

Yes

Skills

Industry

Information Technology & Services

Description
  • Datenplattformen entwickeln: Du konzipierst und implementierst Lakehouse-Lösungen auf Databricks und Azure – von der Anbindung der Datenquellen bis zur Bereitstellung für Analytics und KI.
  • Pipelines produktionsreif machen: Du entwickelst mit Python, PySpark und SQL, verbesserst bestehende Lösungen und etablierst Tests, Monitoring und automatisierte Deployments.
  • Architektur gestalten: Du triffst nachvollziehbare Entscheidungen zu Datenmodellen, Verarbeitung und Schnittstellen. Dabei berücksichtigst du Wartbarkeit, Performance und Kosten.
  • Datenqualität und Governance verankern: Du setzt Qualitätsprüfungen, Berechtigungskonzepte und eine nachvollziehbare Datenverwaltung um, beispielsweise mit Unity Catalog.
  • Kunden beraten: Du übersetzt fachliche Anforderungen in umsetzbare Arbeitspakete, erklärst technische Optionen und machst Aufwand und Risiken transparent.
  • Wissen weitergeben: Du unterstützt Kolleginnen und Kollegen durch Reviews und fachlichen Austausch und befähigst Kundenteams, Lösungen weiterzuentwickeln.


Das bringst du mit

  • Mehrjährige praktische Erfahrung im Data Engineering und Verantwortung für produktive Datenlösungen.
  • Fundierte Projekterfahrung mit Databricks und Microsoft Azure, insbesondere beim Aufbau oder der Weiterentwicklung von Datenplattformen.
  • Sehr gute Kenntnisse in Python/PySpark und SQL.
  • Erfahrung mit Lakehouse-Architekturen, Delta Lake und Datenmodellierung.
  • Einen sicheren Umgang mit Git, CI/CD und automatisierten Tests.
  • Die Fähigkeit, Fehler systematisch zu analysieren und Lösungen hinsichtlich Zuverlässigkeit, Laufzeit und Kosten zu verbessern.
  • Erfahrung im direkten Austausch mit Kunden oder Fachbereichen.
  • Sehr gute Deutschkenntnisse für die Kundenberatung sowie gute Englischkenntnisse.


Für uns zeigt sich Seniorität darin, dass du Entscheidungen begründen, Verantwortung übernehmen und andere fachlich weiterbringen kannst.

Damit ergänzt du unser Team besonders gut

  • Du musst nicht alles mitbringen. Interessant sind außerdem Erfahrungen mit:Data Vault 2.0 und der Migration bestehender Data-Warehouse-Lösungen.
  • Power BI, semantischen Datenmodellen und Self-Service Analytics.
  • Terraform und Infrastructure as Code.
  • MLflow, RAG oder der Integration von KI-Anwendungen in Unternehmensdatenplattformen.
  • Databricks- oder Azure-Zertifizierungen.


  • Was dich bei uns erwartetEin klarer fachlicher Schwerpunkt auf Databricks, Azure und modernen Datenplattformen.

Responsibilities
  • Datenplattformen entwickeln: Du konzipierst und implementierst Lakehouse-Lösungen auf Databricks und Azure – von der Anbindung der Datenquellen bis zur Bereitstellung für Analytics und KI.
  • Pipelines produktionsreif machen: Du entwickelst mit Python, PySpark und SQL, verbesserst bestehende Lösungen und etablierst Tests, Monitoring und automatisierte Deployments.
  • Architektur gestalten: Du triffst nachvollziehbare Entscheidungen zu Datenmodellen, Verarbeitung und Schnittstellen. Dabei berücksichtigst du Wartbarkeit, Performance und Kosten.
  • Datenqualität und Governance verankern: Du setzt Qualitätsprüfungen, Berechtigungskonzepte und eine nachvollziehbare Datenverwaltung um, beispielsweise mit Unity Catalog.
  • Kunden beraten: Du übersetzt fachliche Anforderungen in umsetzbare Arbeitspakete, erklärst technische Optionen und machst Aufwand und Risiken transparent.
  • Wissen weitergeben: Du unterstützt Kolleginnen und Kollegen durch Reviews und fachlichen Austausch und befähigst Kundenteams, Lösungen weiterzuentwickeln.


Das bringst du mit

  • Mehrjährige praktische Erfahrung im Data Engineering und Verantwortung für produktive Datenlösungen.
  • Fundierte Projekterfahrung mit Databricks und Microsoft Azure, insbesondere beim Aufbau oder der Weiterentwicklung von Datenplattformen.
  • Sehr gute Kenntnisse in Python/PySpark und SQL.
  • Erfahrung mit Lakehouse-Architekturen, Delta Lake und Datenmodellierung.
  • Einen sicheren Umgang mit Git, CI/CD und automatisierten Tests.
  • Die Fähigkeit, Fehler systematisch zu analysieren und Lösungen hinsichtlich Zuverlässigkeit, Laufzeit und Kosten zu verbessern.
  • Erfahrung im direkten Austausch mit Kunden oder Fachbereichen.
  • Sehr gute Deutschkenntnisse für die Kundenberatung sowie gute Englischkenntnisse.


Für uns zeigt sich Seniorität darin, dass du Entscheidungen begründen, Verantwortung übernehmen und andere fachlich weiterbringen kannst.

Damit ergänzt du unser Team besonders gut

  • Du musst nicht alles mitbringen. Interessant sind außerdem Erfahrungen mit:Data Vault 2.0 und der Migration bestehender Data-Warehouse-Lösungen.
  • Power BI, semantischen Datenmodellen und Self-Service Analytics.
  • Terraform und Infrastructure as Code.
  • MLflow, RAG oder der Integration von KI-Anwendungen in Unternehmensdatenplattformen.
  • Databricks- oder Azure-Zertifizierungen.


  • Was dich bei uns erwartetEin klarer fachlicher Schwerpunkt auf Databricks, Azure und modernen Datenplattformen.

Loading...