Description
de la mission
Data Engineer (Azure Databricks)
Data Engineer (Azure Databricks)
Île-de-France
À partir du - 3 mois
Mission publiée le : 07/10/2024
Mission consultée : 305 fois
Consultants positionnés : 8
Référence : MISS0162500600
Compétences
EXPERT
. JIRA . PYTHON . scala . Spark . SQL . Azure . Data . Databricks . AGILE . Architecture . Conception . développement . DEVOPS . Modélisation . Cloud . Delivery . Maintenance . pipelines . Rédaction . TESTS . TuningDescription de la mission
Nous recherchons un(e) Data Engineer confirmé(e)/sénior avec une forte expertise sur Azure, Databricks, Spark, Scala, Python et SQL
• Développement et l’implémentation de solutions Big Data Analytics
• Analyse du besoin, étude d'impacts et conception de la solution technique
• Conception et modélisation des données au niveau d'un Data Lake (format Parquet, Delta table, …)
• Construction des pipelines de données pour collecter, transformer et traiter des données dans le Data Lake
• Développements de notebooks (ex : Databricks) de traitements avancés des données
• Cloud Datawarehousing (tuning, optimisation de traitements et requêtes SQL)
• Rédaction de documentation technique (Dossier d'Analyse Technique, release delivery note, ….)
• Revue de code
• Réalisation de tests unitaires
• Maintenance corrective et évolutive
• Livraison dans un environnement Devops, CI/CD et outils associés
REQUIS
• Expérience Data (minimum 5 ans)
• Azure ( 3 ans)
• Expérience architecture Lakehouse (minimum 2 ans)
• Databricks (minimum 5 ans)
• Spark (minimum 5 ans)
• Scala, Python, SQL (minimum 5 ans)
• Maitrise de CI/CD, Azure DevOps (minimum 3 ans)
• Connaissance des outils Agile (JIRA) et ayant déjà travaillé en mode Agile
Le profil recherché devra être force de proposition et montrer une aptitude à partager son savoir auprès des membres de l'équipe.
La rigueur, réactivité, bon relationnel et l'aisance rédactionnelle sont des qualités pour lesquelles le client sera particulièrement attentif.
• Développement et l’implémentation de solutions Big Data Analytics
• Analyse du besoin, étude d'impacts et conception de la solution technique
• Conception et modélisation des données au niveau d'un Data Lake (format Parquet, Delta table, …)
• Construction des pipelines de données pour collecter, transformer et traiter des données dans le Data Lake
• Développements de notebooks (ex : Databricks) de traitements avancés des données
• Cloud Datawarehousing (tuning, optimisation de traitements et requêtes SQL)
• Rédaction de documentation technique (Dossier d'Analyse Technique, release delivery note, ….)
• Revue de code
• Réalisation de tests unitaires
• Maintenance corrective et évolutive
• Livraison dans un environnement Devops, CI/CD et outils associés
REQUIS
• Expérience Data (minimum 5 ans)
• Azure ( 3 ans)
• Expérience architecture Lakehouse (minimum 2 ans)
• Databricks (minimum 5 ans)
• Spark (minimum 5 ans)
• Scala, Python, SQL (minimum 5 ans)
• Maitrise de CI/CD, Azure DevOps (minimum 3 ans)
• Connaissance des outils Agile (JIRA) et ayant déjà travaillé en mode Agile
Le profil recherché devra être force de proposition et montrer une aptitude à partager son savoir auprès des membres de l'équipe.
La rigueur, réactivité, bon relationnel et l'aisance rédactionnelle sont des qualités pour lesquelles le client sera particulièrement attentif.
