Data Engineer Databricks / MS Fabric – Banque

À propos du poste

Talan, groupe international de conseil et d'expertise technologique présent en Suisse, recherche un Data Engineer expérimenté sur Databricks et Microsoft Fabric à Genève. La mission s'inscrit dans l'évolution d'une plateforme Data au sein d'un environnement bancaire : étendre la couverture fonctionnelle d'une plateforme existante en intégrant de nouveaux datasets selon des patterns et standards déjà définis. L'architecture et le framework étant en place, il s'agit de déployer de nouveaux flux de données sans redéfinir la solution.

Missions principales

• Intégrer de nouveaux datasets dans la plateforme Data existante.
• Configurer les flux selon les patterns et standards établis, avec une modélisation dimensionnelle (dimensions, faits, granularité, clés métiers, SCD1/SCD2, snapshots).
• Développer et adapter les traitements avec PySpark et SQL, et configurer les datasets de manière déclarative (notamment via TOML).
• Valider les données selon les règles de qualité et les contrats existants, et analyser et corriger les anomalies.
• Déployer les évolutions via les pipelines CI/CD Azure DevOps et résoudre les échecs liés aux quality gates et aux promotions.
• Comprendre fonctionnellement les données bancaires sources (positions, transactions, AuM, NNA, booking centers, hiérarchies clients) pour garantir leur bonne intégration.

Profil recherché

• Solide expérience Databricks et très bon niveau en PySpark et SQL.
• Capacité à déterminer pour chaque dataset la logique dimensionnelle, SCD, snapshot et granularité.
• Bonne maîtrise d'Azure DevOps et compréhension des mécanismes de gates et de promotion par branches.
• Expérience du secteur bancaire, idéalement Private Banking / Wealth Management, et compréhension des données Core Banking.
• Une exposition à Databricks Asset Bundles et/ou Terraform est un avantage.

Compétences requises

• Delta Lake, Unity Catalog, Change Data Feed.
• Expérience de pipelines CI/CD existants et de modélisation dimensionnelle (Kimball apprécié).
• Compétences appréciées : TOML, Auto CDC, Kafka, Spark Declarative Pipelines, Microsoft Fabric, Terraform.