Cette mission est en Mi-Temps
Nous recherchons
deux data analyst
pour une migration de modèles DBT afin de changer une partie du sourcing de la partie principale des Datamarts.
Environnement & Contexte :
Principalement pour les tables Client & Transactions, mais aussi d'autres modèles (Campaign, Clienteling), nous souhaitons ne plus nous sourcer sur un Datalake central, mais sur des données préparées dans un Datamart par une autre équipe, ce qui permettra de simplifier les scripts et supprimer les transformations.
Il est crucial d'assurer la consistance des Data à tous les niveaux. Une analyse de gap sur les outputs principaux (Transaction, Client) a déjà été effectuée, avec un presque alignement au niveaux du nombre de record par Primary Key, mais au cours de la migration, il y aura forcément des différences relevées sur les dimensions/mesures, que vous allez devoir analyser, investiguer et remonter.
Le
Data Engineer
aura pour mission principales :
* Revoir une bonne partie des modèles DBT dans notre Datamart Client qui contient environ 45 modèles finaux (et 60 modèles intermédiaires), pour modifier le sourcing (au lieu de sources brutes, se reposer sur un Datamart qui contient déjà certains indicateurs que nous préparions de notre côté)
* Simplifier et supprimer les transformations du script Client pour en simplifier la maintenance, et les investigations.
* Test de non regression sur le modele final, pour garantir que les outputs sont ISO (ou très proches, avec investigations des écarts et remontée/échanges avec l'équipe en charge du Datamart)
* Validation dans les outils finaux (explores/dashboards Looker) de la consistance des chiffres.
* Mise à jour de la documentation des modèles (SQL, Yaml, Confluence, Data Model)
Profil candidat:
Environnement technique :
* DBT sur VSCode avec 3 environnements DEV/UAT/PRD
* Looker (pas la version Studio) avec 3 environnements DEV/UAT/PRD
* Gitlab pour le code
* BigQuery pour le SQL