Data Engineer spécialisé Databricks & Microsoft Fabric

À propos du poste

Dans le cadre de l’évolution d’une plateforme Data au sein d’un environnement bancaire, Talan recherche un Data Engineer expérimenté sur Databricks et Microsoft Fabric. Vous intégrerez de nouveaux jeux de données en respectant les standards et le framework déjà en place.

Missions principales

• Intégrer de nouveaux datasets en suivant les patterns et standards définis.
• Développer et adapter les traitements avec PySpark et SQL.
• Modéliser les données (dimensions, faits, SCD1/SCD2, snapshots) et configurer les datasets via TOML.
• Déployer les évolutions via les pipelines CI/CD Azure DevOps et résoudre les quality gates.

Profil recherché

• Solide expérience sur Databricks, Delta Lake et Unity Catalog.
• Bonne connaissance du secteur bancaire (Private Banking / Wealth Management) et des données associées (positions, transactions, AuM, NNA).
• Capacité à comprendre fonctionnellement les données provenant d’un Core Banking System.

Compétences requises

• Databricks, Microsoft Fabric, Delta Lake, Unity Catalog, Change Data Feed
• PySpark, SQL
• Azure DevOps, pipelines CI/CD, gestion des quality gates
• Modélisation dimensionnelle (Kimball), SCD1/SCD2, snapshots
• Connaissances en TOML, Terraform, Kafka, Spark