Data Engineer
Senior Data Engineer joining a new Digital Transformation Office at a leading European industrial company in Barcelona (hybrid). Builds and operates data pipelines ingesting industrial data (sensors, PLC, MES) from Kafka into Azure Databricks using Lakehouse/Medallion architecture, and productionizes ML models. Core stack: Python, SQL, Spark, Azure, Databricks, Kafka.
- Compensation
- €60K–€75K / yr
- Location
- Barcelona, Spain
- Work setup
- Hybrid
- Seniority
- Not specified
- Employment
- Full time
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- Solid experience designing, building and maintaining production data pipelines
- Strong command of Python and SQL
- Hands-on experience with Spark, Databricks or equivalent Lakehouse platforms
- Advanced knowledge of ETL/ELT architectures and large-volume data processing
- Experience with cloud platforms, preferably Microsoft Azure
- Ability to develop maintainable, documented and scalable solutions
- Hands-on profile interested in both architecture design and implementation
- Collaboration skills with technical teams, business stakeholders and industrial experts
- High professional level of English, spoken and written
- Own vehicle for regular travel to facilities in Vallés Occidental industrial area
Nice to have
- Experience with Azure Databricks, Spark Structured Streaming and Delta Lake
- Knowledge of Kafka and other streaming/messaging technologies
- Experience with Medallion architecture (Bronze, Silver, Gold)
- Experience with Terraform, Azure DevOps and CI/CD processes
- Familiarity with data governance tools such as Unity Catalog or Microsoft Purview
- Integrations with enterprise systems such as SAP
- Experience with industrial data (sensors, IoT, time series, MES, SCADA)
- Knowledge of edge computing architectures and OT/IT integration
Full description
Job-ID: bc98de16-39bc-4004-9f8b-757b7b496a94Reference: J-4353Location: Barcelona, SpainJob type: Full-time, HybridSalary: 60.000
Obtenga más información sobre este puesto leyendo los detalles a continuación y luego envíe su solicitud para ser considerado.
- 75.000 brutos anualesCategory: DataStack: Python, Azure, Databricks, Kafka, MLOpsContact:, , empresa líder en su sector industrial europeo busca un Data Engineer Senior para unirse a su nueva Oficina de Transformación Digital.Esta es una oportunidad única para tener un impacto significativo en la estrategia de datos e inteligencia artificial de una compañía con un sólido backlog de iniciativas estratégicas.
Te enfocarás en proyectos que buscan mejorar la producción, la eficiencia energética y la logística, generando un valor económico sustancial.No se trata de una posición de mantenimiento de ETLs rutinarios, sino de construir y evolucionar la plataforma de datos que conectará los sistemas industriales con un entorno cloud moderno.
Serás parte fundamental en el diseño y despliegue de soluciones innovadoras, estableciendo las bases para productos de datos avanzados y modelos de Machine Learning.Te incorporarás a un equipo interno de nueva creación, colaborando inicialmente con partners tecnológicos internacionales para una transferencia de conocimiento fluida, asumiendo progresivamente el liderazgo de las soluciones desarrolladas.
Tu misión será clave en la implementación de la ingeniería de datos en un contexto industrial.ResponsibilitiesDiseñar, construir y operar pipelines de datos fiables y escalables, integrando sistemas industriales con la plataforma corporativa de datos.Ingestar información industrial (sensores, PLC, MES) desde Kafka hacia Azure y Databricks.Desarrollar pipelines sobre arquitecturas Lakehouse / Medallion (capas Bronze, Silver, Gold), gestionando procesamiento batch, microbatch y streaming.Integrar datos de planta con información corporativa, aplicando buenas prácticas de calidad, observabilidad y trazabilidad.Gestionar grandes volúmenes de datos, incluyendo retos como datos retrasados, duplicidades y reintentos.Colaborar en el gobierno del dato mediante herramientas específicas y participar en la automatización de infraestructura y despliegues.Construir productos de datos reutilizables, mantenibles y bien documentados.Trabajar estrechamente con Data Scientists para la puesta en producción y reentrenamiento de modelos de Machine Learning.RequirementsExperiencia sólida en el diseño, construcción y mantenimiento de pipelines de datos en producción.Dominio de Python y SQL para el desarrollo de soluciones de datos.Experiencia práctica con Spark, Databricks o plataformas Lakehouse equivalentes.Conocimiento avanzado de arquitecturas ETL/ELT y procesamiento de grandes volúmenes de datos.Experiencia con plataformas cloud, preferentemente Microsoft Azure.Capacidad demostrada para desarrollar soluciones mantenibles, documentadas y escalables.Un perfil hands-on, con interés tanto en el diseño de arquitecturas como en la implementación.Habilidades de colaboración con equipos técnicos, stakeholders de negocio y expertos industriales.Nivel profesional alto de inglés, tanto hablado como escrito.Indispensable disponer de vehículo propio para desplazamientos regulares a las instalaciones, ubicadas en una zona industrial del Vallés Occidental.Se valorará muy positivamente:Experiencia específica con Azure Databricks, Spark Structured Streaming y Delta Lake.Conocimiento de Kafka y otras tecnologías de streaming o mensajería.Experiencia con arquitectura Medallion (Bronze, Silver, Gold).Manejo de Terraform, Azure DevOps y procesos de CI/CD.Familiaridad con herramientas de gobierno del dato como Unity Catalog o Microsoft Purview.Integraciones con sistemas empresariales como SAP.Experiencia con datos industriales (sensores, IoT, series temporales, MES, SCADA).Conocimiento de arquitecturas de edge computing y la integración OT/IT.BenefitsUn proyecto estratégico de gran impacto respaldado por la dirección tecnológica.La oportunidad de trabajar y evolucionar una plataforma de datos innovadora.Participación en casos de uso con impacto directo sobre producción, energía y eficiencia.Colaboración con grandes profesionales y partners tecnológicos internacionales.Autonomía y capacidad real para proponer soluciones y buenas prácticas.Modelo de trabajo híbrido flexible con un 50% de teletrabajo, autogestionado según las necesidades del proyecto.Horario de entrada flexible y jornada intensiva durante el verano.Aparcamiento en las instalaciones y comedor de empresa subvencionado.Acceso a formación continua y desarrollo profesional. xhfqzwm Retribución fija competitiva de entre 60.000 y 75.000 brutos anuales, según experiencia.