Middle Azure Data Engineer - Barcelona
Designs, builds, and optimizes scalable data pipelines and analytics solutions on Microsoft Azure and Microsoft Fabric for a company that builds its own mission-critical aeronautics software. Day-to-day work spans Data Factory, Databricks, Synapse, ADX/KQL, Spark, Power BI, and CI/CD-driven DataOps/MLOps.
- Compensation
- Not disclosed
- Location
- ESPLUGUES DE LLOBREGAT, Spain
- Work setup
- Hybrid
- Seniority
- Middle
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- Grado en Ingeniería Informática, Telecomunicaciones, Estadística o similar
- +3 años de experiencia en funciones similares
- +4 años en Data Engineering sobre Azure y Fabric
- DP-203 skills: almacenamiento, procesamiento y continuidad operativa
- SQL avanzado, Python (pandas, PySpark) y/o Scala
- AKS y contenedores
- Experiencia con pipelines en Azure Data Factory y/o Azure Databricks
- Ingestión batch y streaming (Event Hubs, Azure Stream Analytics)
- Modelado y optimización en Azure Synapse Analytics y Azure SQL Data Warehouse
- Gestión de grandes volúmenes en Azure Data Lake Storage Gen2
- Diseño de tablas ADX y KQL avanzado
- Transformaciones con Apache Spark (PySpark/Scala)
- IaC con Terraform, Bicep o ARM Templates
- Dashboards en Power BI, DAX avanzado, DirectQuery/Composite Models
- DataOps y MLOps: CI/CD con Azure DevOps
Nice to have
- Experiencia con Lakehouse & Warehouse en Microsoft Fabric
- Gobernanza con Microsoft Purview
Full description
Somos una empresa tecnológica con producto propio, especializada en el desarrollo de soluciones de software para entornos críticos del sector aeronáutico. Creamos tecnología robusta, escalable y alineada con las necesidades reales del negocio, trabajando sobre ecosistemas Microsoft para garantizar fiabilidad, integración y capacidad de evolución.
En Airplane Solutions buscamos un perfil SeniorAzure Data Engineer que se una a nuestro equipo para diseñar, implementar y optimizar soluciones de datos escalables en Microsoft Azure y Microsoft Fabric, liderando desde la ingesta hasta la entrega de insights, incluyendo la gobernanza, seguridad de los datos y la integración de capacidades de IA.
- Grado en Ingeniería Informática, Telecomunicaciones, Estadística o similar.
- +3 años de experiencia realizando funciones similares a las descritas.
Tus principales funciones serán:
1. Diseño y orquestación de pipelines de datos
- Creación, despliegue y monitorización de pipelines en Azure Data Factory y/o Azure Databricks.
- Estrategias de ingestión batch y streaming (Event Hubs, Azure Stream Analytics).
2. Procesamiento y almacenamiento
- Modelado y optimización en Azure Synapse Analytics y Azure SQL Data Warehouse.
- Gestión de grandes volúmenes en Azure Data Lake Storage Gen2 con partición y compresión.
- Políticas de seguridad y cifrado (en reposo y en tránsito).
- Diseño de tablas ADX: ingestión por pipelines, SDKs, Event Grid.
- KQL avanzado: consultas exploratorias, agregaciones, series temporales.
- Funciones y políticas: parse_json, mv-expand, estimated_statistics, update policies.
- Integración: Power BI DirectQuery y dashboards nativos ADX.
- Monitorización: ajuste de clústeres, escalado y análisis de costes con Azure Monitor.
- Lakehouse & Warehouse: unificación de Data Lake y Synapse en un entorno integrado.
- Pipelines en Fabric: orquestación con Data Factory en Fabric, notebooks de Spark en Spark Compute.
- Data Engineering en Fabric: Spark SQL, PySpark y C# en Notebooks; optimización con Delta tables nativas.
- Governance & Security: Control con Purview integrado, políticas de acceso unificadas y encriptación automática.
- Fabric Workloads: integración de Data Science (ML), Power BI en Fabric, Data Activator para eventos en tiempo real.