Databricks Data Engineer | Freiberuflich

Wir arbeiten mit einem europäischen Technologieunternehmen zusammen, das sich aktuell in einer umfassenden Transformation seiner Datenplattform befindet. Dafür wird ein Senior Databricks Data Engineer gesucht, der das Team zunächst im Rahmen eines 6-monatigen Freelance-Vertrags unterstützt.

Du kommst in ein Umfeld, in dem die Datenplattform aktiv aufgebaut und modernisiert wird, wobei Databricks im Zentrum der Architektur steht.

Woran du arbeiten wirst

• Entwicklung und Aufbau skalierbarer Datenpipelines innerhalb von Databricks
• Entwicklung produktionsreifer Workloads mit PySpark, Python und SQL
• Umfangreiche Arbeit mit Delta Lake und Lakehouse-Architekturen
• Unterstützung bei der Migration bestehender Workloads zu Databricks
• Optimierung von Spark-Workloads und Verbesserung der Pipeline-Performance
• Aufbau zuverlässiger ETL-/ELT-Prozesse für große Datenmengen
• Zusammenarbeit mit Data Scientists, Analytics Engineers und Cloud Engineers
• Implementierung von Datenqualität, Tests und Monitoring
• Mitwirkung an der übergreifenden Architektur und technischen Weiterentwicklung der Plattform

Das bringst du mit

• 5+ Jahre Erfahrung im Bereich Data Engineering
• Fundierte praktische Erfahrung mit Databricks
• Sehr gute Kenntnisse in PySpark, Python und SQL
• Fundiertes Verständnis von Delta Lake und Lakehouse-Architekturen
• Erfahrung in der Entwicklung und Optimierung produktiver Datenpipelines
• Erfahrung mit Azure, AWS oder GCP
• Erfahrung in großen und komplexen Datenumgebungen
• Die Fähigkeit, selbstständig zu arbeiten und schnell Verantwortung zu übernehmen

Wenn das nach dir klingt, bewirb dich bitte mit deinem aktuellen Lebenslauf. Wir melden uns bei dir, um die Position und weitere Details zu besprechen.

_________________

We’re working with a European technology company undergoing a major data platform transformation and they’re looking for a senior Databricks Data Engineer to join the team on an initial 6-month freelance contract.

You’ll be coming into an environment where the data platform is being actively built and modernised, with Databricks at the centre of the architecture.

What you'll be working on

• Designing and building scalable data pipelines within Databricks
• Developing production-grade workloads using PySpark, Python and SQL
• Working extensively with Delta Lake and Lakehouse architecture
• Supporting the migration of existing workloads into Databricks
• Optimising Spark workloads and improving pipeline performance
• Building reliable ETL/ELT processes across large datasets
• Working with Data Scientists, Analytics Engineers and Cloud Engineers
• Implementing data quality, testing and monitoring
• Contributing to the wider architecture and technical direction of the platform

We're looking for someone who has

• 5+ years' experience in Data Engineering
• Strong hands-on Databricks experience
• Excellent PySpark / Python / SQL skills
• Strong understanding of Delta Lake and Lakehouse architecture
• Experience building and optimising production data pipelines
• Experience working with Azure, AWS or GCP
• Experience working within large-scale data environments
• The ability to operate independently and hit the ground running

If this sounds like you, please apply with your latest CV and we will be in touch to discuss the role further.