Data Engineer/ Data Analyst (on-site)
A hands-on Data Engineer/Data Analyst who designs, builds, maintains, and troubleshoots data pipelines on Microsoft Azure using Azure Data Factory, Databricks, and ADLS Gen2. Works with SQL, Python/PySpark, Delta Lake, and Parquet within Lakehouse architecture while supporting analysts and Power BI developers.
- Compensation
- Not disclosed
- Location
- Luxembourg, Luxembourg, Luxembourg
- Work setup
- Not specified
- Seniority
- Not specified
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- Solid hands-on experience with Databricks
- Solid hands-on experience with Azure Data Factory (ADF)
- Solid experience with Azure Data Lake Storage Gen2 (ADLS Gen2), including security and access management
- Very good SQL skills
- Good command of Python and/or PySpark
- Mastery of ETL/ELT concepts with proven experience designing, developing, and maintaining data pipelines
- Experience with Delta Lake and the Parquet format
- Good understanding of Data Lake / Lakehouse architectures
- Good understanding of data modeling and analytical/BI needs
- Experience integrating varied data sources and main integration patterns
- Ability to autonomously diagnose data, storage, and pipeline issues
- Fluency in French and English (spoken and written)
Nice to have
- Experience with Power BI and Power BI Semantic Models
- CI/CD practices applied to Data Engineering
- Knowledge of Data Quality practices and Data Governance notions
- Experience with Azure DevOps
- Experience in large-scale enterprise Azure environments
- Proficiency in German
Full description
Chez Sword Technologies, nous accompagnons nos clients dans leurs projets de transformation digitale, en intervenant sur des missions à forte valeur ajoutée dans des environnements exigeants.
Nous accordons une attention particulière à la qualité des missions proposées ainsi qu’à l’accompagnement de nos collaborateurs dans leur évolution.
Dans le cadre de notre développement, nous recherchons des profils afin de renforcer nos équipes.
Nous recherchons un(e) Data Engineer / Data Analyst polyvalent(e) capable de concevoir, maintenir et optimiser des solutions data sur un environnement Microsoft Azure existant, tout en accompagnant les équipes analytiques au quotidien.
Mission :
Intégré(e) à une équipe Data & Analytics s'appuyant sur l'écosystème Microsoft Azure, vous interviendrez en tant que profil Data Engineer polyvalent avec une bonne sensibilité analytique. Votre rôle sera avant tout opérationnel : concevoir, développer et maintenir des pipelines de données avec Azure Data Factory, développer des traitements et transformations via Databricks, et gérer les structures de stockage dans Azure Data Lake Storage Gen2. Vous construirez et ferez évoluer des processus ETL / ELT robustes, en travaillant avec des formats tels que Delta Lake et Parquet, et en intégrant des données provenant de sources internes et externes variées.
Au-delà du développement, vous serez responsable du diagnostic et de la résolution des problèmes liés aux pipelines, au stockage et aux traitements de données. Vous superviserez et optimiserez les pipelines existants, mettrez en place des contrôles de qualité des données appropriés et participerez aux activités de modélisation des données. Vous développerez vos transformations principalement en SQL, Python et/ou PySpark, dans le respect des bonnes pratiques de l'architecture Lakehouse.
Vous collaborerez étroitement avec les équipes techniques ainsi qu'avec les interlocuteurs métiers, en apportant un support pragmatique aux Data Analysts et aux développeurs Power BI dans leurs besoins en données. Le profil attendu est résolument hands-on, autonome et adaptable : une personne capable de naviguer entre le Data Engineering, l'analyse de données et le support technique en fonction des priorités de l'équipe, plutôt qu'un profil cantonné à un périmètre purement architectural.
Environnement technique :
Must have :