Data Engineer & Generative IA
Senior data engineer role at Spanish tech consultancy Paradigma Digital: designing, building and maintaining cloud data pipelines (ingestion, transformation, orchestration, monitoring, data quality) on AWS/Azure/GCP with Python, plus building generative AI solutions such as RAG systems and agents.
- Compensation
- Not disclosed
- Location
- Pozuelo de Alarcón, Spain
- Work setup
- Not specified
- Seniority
- Not specified
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- Experiencia en proyectos con grandes volúmenes de datos como Data Engineer
- Experiencia en construcción de RAG y/o Agentes (IA Generativa)
- Experiencia en cloud, concretamente AWS
- Desarrollo en Python
- Construcción, diseño, desarrollo y optimización de pipelines de datos en cloud AWS, Azure y/o GCP
- Experiencia en mantenimiento, optimización, integración, gestión del ciclo de vida y calidad del dato basado en cloud
Full description
¡Forma parte del futuro de Paradigma!
Si eresSenior Data Engineery quieres participar en un proyecto de nuestro área de Data con experiencia en mantenimiento, optimización, integración , gestión del ciclo de vida y calidad del dato basado en cloud y aportas experiencia en proyectos de IAGenerativa construyendo RAG y Agentes, este proyecto te puede interesar.
¿Que buscamos?
Data Engineer Seniorcon experiencia en construcción de pipelines, diseño, desarrollo y optimización de datos complejos basado en cloud AWS, Azure y/o GCP, asi como experiencia en proyectos de IA Generatiava
Responsabilidades
- Diseño e implementación de pipelines de datos: Crear y estructurar procesos para la ingestión, procesamiento y transformación de datos.
- Construcción de RAG y/o Agentes
- Recolección y almacenamiento de datos: Implementar soluciones para la captura y almacenamiento eficiente de datos provenientes de diversas fuentes.
- Limpieza y preprocesamiento de datos: Asegurar que los datos estén limpios y listos para su análisis, aplicando técnicas de limpieza y transformación.
- Optimización de bases de datos: Ajustar bases de datos para mejorar su rendimiento y escalabilidad.
- Integración de datos: Facilitar la correcta integración de datos provenientes de distintas fuentes.
- Mantenimiento de sistemas de datos: Asegurar el funcionamiento continuo y eficiente de los sistemas de datos.
- Monitorización y ajuste de flujos de datos: Supervisar y ajustar los pipelines y flujos de datos para mantener su rendimiento y confiabilidad.
- Calidad del dato: Implementar y mantener prácticas para asegurar la precisión, consistencia y fiabilidad de los datos.
- Gestión del ciclo de vida del dato: Gestionar el ciclo de vida de los datos desde su creación hasta su eventual archivado y eliminación.
- Orquestación de pipelines de datos: Implementar y gestionar herramientas de orquestación de flujos de trabajo como Apache Airflow, AWS Step Functions, o Google Cloud Composer para asegurar la automatización y eficiencia de los pipelines de datos.
- Ingesta de datos Batch y/o Streaming: Desarrollar e implementar procesos de ingestión de datos en lotes y en tiempo real utilizando herramientas como Apache Kafka, Change Data Capture (CDC), y AWS Kinesis.