Data Engineer Python & PySpark on Databricks (Hybrid/Remote)
Build and optimize ETL/ELT data pipelines in Python and PySpark on Databricks Lakehouse (Delta Lake, Medallion architecture), orchestrated with Databricks Workflows, Azure Data Factory or Airflow, using SQL, Unity Catalog governance, and a major cloud (Azure preferred). Hybrid/remote around Milan; fluent Italian and technical English required.
- Compensation
- Not disclosed
- Location
- , Lombardia
- Work setup
- Hybrid
- Seniority
- Not specified
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- 2 years of experience as Data Engineer or Python developer in data
- Excellent knowledge of Python (pandas, PySpark) and SQL
- Hands-on experience with Databricks and Apache Spark
- Knowledge of Delta Lake and data lake / data warehouse concepts
- Experience with at least one cloud: Azure (preferred), AWS or GCP
- Git usage and good development practices (code review, testing, CI/CD)
- Fluent Italian and technical English
Full description
LC-Service srl cerca una risorsa Data Engineer con esperienza in PySpark e Databricks per progettare e ottimizzare pipeline dati su piattaforma Lakehouse. La posizione richiede conoscenza di Delta Lake, SQL e orchestrazione dei flussi.
Si cerca competenza su cloud (Azure preferibile, AWS o GCP), Git e pratiche CI/CD, con italiano fluente e inglese tecnico. Lavoro ibrido/remoto con Milano, Lombardia.
Progettare e sviluppare pipeline dati (ETL/ELT) in Python e PySpark su Databricks.
Gestire l'architettura dei dati secondo Lakehouse / Medallion (Bronze, Silver, Gold) con Delta Lake.
Scrivere query e trasformazioni in SQL e Spark SQL.
Orchestrare i flussi con Databricks Workflows e/o strumenti come Azure Data Factory o Airflow.
Gestire governance e permessi con Unity Catalog.
Ottimizzare prestazioni e costi di cluster e job.
Collaborare con analisti e team BI (es. Power BI) per rendere i dati pronti all'uso.
Curare qualità del dato, test e documentazione.
2 anni di esperienza come Data Engineer o sviluppatore Python in ambito dati.
Ottima conoscenza di Python (pandas, PySpark) e SQL.
Esperienza concreta su Databricks e Apache Spark.
Conoscenza di Delta Lake e dei concetti di data lake e data warehouse.
Esperienza con almeno un cloud: Azure (preferibile), AWS o GCP.
Uso di Git e buone pratiche di sviluppo (code review, test, CI/CD).
Italiano fluente e inglese tecnico.