Lead Data & Platform Engineer, Madrid
Technical lead for the clinical data platform of a Spanish health research/consultancy firm (founded 2022): owns architecture, data model, continuous ingestion and operations, integrating clinical/hospital sources via event-driven pipelines with HL7 FHIR interoperability. Stack: Kafka/Confluent, Flink, Debezium, PostgreSQL, Python, Kubernetes.
- Compensation
- Not disclosed
- Location
- Madrid, Spain
- Work setup
- Not specified
- Seniority
- Lead
- Employment
- Not specified
- Experience
- Not specified
- Category
- Devops
- Posted
Skills
Must have
- Kafka and Confluent (event streaming)
- Kafka Streams and Apache Flink stream processing
- Debezium for continuous ingestion/CDC
- PostgreSQL
- Python
- Kubernetes
- HL7 FHIR interoperability under strict security and data-sovereignty requirements
- Ownership of data platform architecture, data model, quality, performance and operation
- Integrating heterogeneous clinical, hospital and administrative data sources (formats, terminologies, identifiers)
- Documenting architecture and decisions, defining engineering practices
Nice to have
- Experience hiring and developing a growing engineering team
- Collaboration with data analysts, data scientists, biostatisticians and clinical/scientific teams
Full description
Lead Data & Platform Engineer
Buscamos un/a Lead Data Platform Engineer para la Unidad de Health Data Platform and Innovation de una compañía española de Consultoría, Investigación e Innovación en salud, fundada en 2022 y en plena expansión.
MISIÓN
Responsabilidad técnica de la Plataforma de Datos: Arquitectura, Modelo de Datos, Integración de Fuentes, Ingesta Continua, Calidad, Rendimiento y operación.
No es un puesto de mantenimiento ni de ejecución de decisiones ajenas: quien ocupa este puesto decide la arquitectura, la documenta y la sostiene.
El puesto tiene cuatro áreas principales:
- Consolidar y escalar la Plataforma Clínica. Rediseñar el Modelo de Datos, el Rendimiento y la Trazabilidad para que soporte el crecimiento en volumen, en fuentes y en número de proyectos simultáneos.
- Integrar nuevas Fuentes de Datos Sanitarios. Incorporar nuevos Orígenes Clínicos, Hospitalarios y Administrativos al modelo común, resolviendo la
Heterogeneidad de Formatos, Terminologías e Identificadores que caracteriza al sector.
- Arquitectura orientada a Eventos e Interoperabilidad. Diseñar y operar la Ingesta Continua y el Procesamiento de Datos Asistenciales sobre
Arquitecturas orientadas a Eventos, con Interoperabilidad HL7 FHIR y bajo requisitos estrictos de seguridad y soberanía del dato. Es una parte central del puesto, no un complemento.
- Estándar técnico y equipo. Definir las prácticas de Ingeniería de la Unidad, documentar la Arquitectura y las Decisiones, y participar en la incorporación y el desarrollo del equipo conforme crece.
Trabajarás en estrecha colaboración con Data Analysts, Data Scientists, Bioestadísticos y el Equipo Científico y Clínico para garantizar que los datos estén disponibles, validados, trazables y listos para los proyectos, y reportarás a la Dirección de la unidad.
Kafka, Confluent, Kafka Streams, Apache Flink, Debezium, PostgreSQL, Python, Kubernetes, HL7