Data Engineer (Spark / Scala)
Data Engineer at Spanish consultancy Arktic in Madrid: designs, builds and optimizes ETL data pipelines using Apache Spark and Scala on AWS Data Lake environments. Day to day involves data modeling, advanced SQL, data quality/validation, automated testing and CI/CD, with BI tooling (Databricks, Power BI, Starburst) experience valued.
- Compensation
- Not disclosed
- Location
- Madrid, Spain
- Work setup
- Not specified
- Seniority
- Not specified
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- At least 3 years of experience developing and implementing ETL processes
- 3 years of experience with Apache Spark and developing with Scala
- Experience with BI tools and analytical platforms such as Databricks, Power BI, Starburst or similar
- Experience in data design and modeling
- Knowledge and experience in Data Lake environments (Apache Hive, Amazon S3, AWS)
- Advanced SQL skills
- Experience in data validation and quality control
- Experience working with relational databases
- Experience in unit testing and code quality practices using tools like SonarQube or Fortify
- Experience implementing and managing CI/CD processes
Nice to have
- Experience with process orchestration tools
- Experience consuming APIs
Full description
Arktic es una expedición. Una aventura construida por un grupo de profesionales que cree en el oficio de consultor, una exploración constante del negocio, la tecnología y la transformación de organizaciones. Nuestro objetivo va siguiendo un mapa, pero es tan importante llegar como descubrir nuevas rutas, superar retos y dejar un legado.
Aquí, nuestra gente es lo más importante. Cada profesional ocupa el lugar que le corresponde, permitiendo que el talento y la experiencia brillen por sí solas. La construcción de relaciones sólidas y la excelencia en el delivery son parte de los cimientos ya que la confianza con nuestros clientes es tan vital como la calidad de los resultados que entregamos.
Somos una empresa joven, dinámica y 100 % española, que une consultoría de negocio, tecnología y experiencia digital (DX) para acompañar a nuestros clientes en cada paso de su evolución, siempre desde el conocimiento, la pasión y la colaboración.
En esta ocasión estamos buscando un Data Engineer, con experiencia desarrollando procesos ETL sobre Spark y Scala, trabajando con entornos Data Lake en AWS, modelado de datos y SQL avanzado. La persona participará en el diseño, construcción y optimización de pipelines de datos, asegurando la calidad de la información y aplicando buenas prácticas de desarrollo, testing y CI/CD. Además, se valorará experiencia en herramientas de BI, orquestación de procesos y consumo de APIs.
¿Qué harás en tu día a día?
- Diseñar y desarrollar soluciones de ingeniería de datos escalables en entornos Big Data.
- Construir y optimizar pipelines de procesamiento utilizando Spark y Scala.
- Gestionar y explotar datos sobre arquitecturas Data Lake en AWS.
- Asegurar la calidad, disponibilidad y rendimiento de la información utilizada por áreas de negocio y analítica.
- Implementar buenas prácticas de desarrollo, testing automatizado y CI/CD.
- Colaborar en proyectos de transformación de datos y explotación analítica mediante herramientas BI.
- Participar en el diseño de modelos de datos y optimización de plataformas analíticas.
- Al menos 03 años de experiencia en desarrollo e implementación de procesos ETL.
- 03 años de experiencia trabajando con Apache Spark y desarrollando con Scala.
- Experiencia en herramientas de Business Intelligence y plataformas analíticas como Databricks, Power BI, Starburst o similares.
- Experiencia en diseño y modelado de datos.
- Conocimiento y experiencia en entornos Data Lake (Apache Hive, Amazon S3, AWS).
- Dominio avanzado de SQL.
- Experiencia en validación y control de calidad de datos.
- Experiencia trabajando con bases de datos relacionales.
- Experiencia en testing unitario y aplicación de buenas prácticas de calidad de código mediante herramientas como SonarQube o Fortify.