Entretien architecte Databricks : Unity Catalog, workspaces et réseau

Un architecte Databricks prend des décisions qu'on défait difficilement, et l'entretien doit porter sur elles. Combien de workspaces, quels catalogues, quel stockage managé, quelles connexions réseau, quelles règles pour le calcul serverless. Il fixe aussi l'architecture médaillon que les data engineers appliqueront, le partage avec d'autres entités et le suivi de la facture. En ESN, la mission démarre souvent par une migration depuis Hadoop ou depuis l'ancien metastore Hive. Chez un client final, il porte la plateforme plusieurs années.

Beaucoup de CV d'architectes Databricks sont des CV de data engineers seniors. Ils connaissent Spark et Delta Lake en détail, mais n'ont jamais choisi entre un catalogue par environnement et un catalogue par domaine, ni configuré un lien privé. Databricks ne délivre pas de certification d'architecte. La certification Data Engineer Professional et les accréditations Platform Architect par cloud montrent une bonne connaissance de la plateforme, et les décisions d'architecture se vérifient en entretien.

Plateforme existante ou à poser : la réponse du manager oriente tout l'entretien, car un architecte de migration et un architecte de reprise n'ont pas le même parcours. Faites dessiner au candidat le découpage des workspaces de sa dernière mission.

Ce qu'un architecte Databricks assemble sur la plateforme

Unity Catalog

La couche de gouvernance de Databricks : un metastore par région, puis des catalogues, des schémas, des droits, le lignage et l'audit. Le découpage des catalogues est la première décision de l'architecte, par environnement, par domaine ou les deux, avec des catalogues rattachés à certains workspaces seulement. Demandez où la personne a déclaré le stockage managé ; la recommandation actuelle est le niveau du catalogue.

Compte et workspaces

Le compte Databricks regroupe les workspaces, les identités synchronisées depuis le fournisseur d'identité et la facturation. L'architecte décide combien de workspaces créer, par environnement, par filiale ou par niveau de sensibilité. Depuis Unity Catalog, les données se cloisonnent par catalogue et plus par workspace, ce que beaucoup de plateformes anciennes n'ont pas encore intégré.

Delta Lake, Iceberg et architecture médaillon

Les tables sont stockées en Delta Lake, et Unity Catalog gère aussi des tables Apache Iceberg. L'architecture médaillon range les données en trois niveaux : bronze pour le brut, silver pour le nettoyé, gold pour les tables métier. L'architecte fixe l'emplacement des contrôles de qualité et le propriétaire de chaque niveau. Un bon candidat sait dire quand ce découpage ne sert à rien.

Réseau et sécurité

Le calcul classique tourne dans le réseau du client (VPC ou VNet géré par le client), relié au plan de contrôle par un lien privé. Le calcul serverless tourne chez Databricks et rejoint les sources par des règles de connectivité privée, sous une politique de sortie réseau. Les listes d'adresses IP et le lien privé côté utilisateurs ferment l'accès à l'interface. C'est la partie que les data engineers connaissent le moins.

Calcul : serverless, job clusters, SQL warehouses

Trois familles de calcul, avec des coûts et des limites différents. Les politiques de calcul encadrent ce que chacun peut lancer, et les modes d'accès garantissent que les droits Unity Catalog s'appliquent. L'architecte écrit la règle par usage : pipelines, exploration dans les notebooks, tableaux de bord.

Lakeflow et Declarative Automation Bundles

Lakeflow regroupe l'ingestion (Lakeflow Connect), les pipelines déclaratifs, anciennement Delta Live Tables, et l'orchestration (Lakeflow Jobs). Les Declarative Automation Bundles, ex-Databricks Asset Bundles, décrivent jobs et pipelines dans du code versionné, déployé d'un environnement à l'autre par la CI. L'architecte impose ce cadre aux équipes.

Delta Sharing

Le protocole de partage de Databricks, que la documentation récente présente sous le nom OpenSharing. Il partage des tables, des volumes ou des modèles avec un autre metastore Databricks, une autre région ou un outil externe, sans copie montée à la main. Les droits et le lignage ne traversent pas la frontière entre metastores, et l'architecte doit le prévoir.

Tables système et suivi des coûts

Les tables système exposent la consommation facturée, l'audit, le lignage et l'historique des requêtes. Avec des tags sur les ressources et des politiques de budget serverless, elles permettent de répartir la facture par équipe ou par filiale. L'architecte prévoit cette répartition dès la conception.

Terraform

Le fournisseur Terraform de Databricks crée les workspaces, les catalogues, les droits et les configurations réseau. Sur une plateforme bien conçue, un nouvel environnement se crée en relançant le code, sans clic dans la console.

Le titre recouvre des postes assez différents. Chez un client final, l'architecte Databricks porte la plateforme, arbitre les demandes des équipes et répond de la facture. En ESN ou en cabinet, il intervient sur un cadrage ou une migration, depuis Hadoop, depuis le metastore Hive ou depuis un autre entrepôt, puis passe la main. Certains postes mêlent architecture et administration du compte, d'autres cherchent en réalité un lead data engineer. Les missions publiées demandent souvent une maîtrise d'Unity Catalog en production, administration du metastore comprise. Indiquez dans la fiche de poste le cloud utilisé, Azure, AWS ou GCP, car le réseau et les identités en dépendent.

Six choix de plateforme qu'un architecte Databricks doit argumenter

• Organisation de Unity Catalog et des workspaces
• Architecture médaillon et formats de tables
• Sécurité réseau et identités
• Stratégie de calcul et maîtrise des coûts
• Partage de données et interopérabilité
• Industrialisation et migration de plateforme

Les questions de conception à poser à un architecte lakehouse

Chaque question vient avec ce qu'une bonne réponse contient et le signal qui doit vous alerter. Pas besoin d'être technique pour les poser : écoutez si le candidat raconte du vécu.

1. Question 1 · senior

   Un groupe a trois filiales et trois environnements par filiale. Comment découpez-vous les workspaces et les catalogues Unity Catalog ?

   Une bonne réponseUn seul metastore par région, partagé par tous. Les catalogues portent l'isolation : un catalogue par filiale et par environnement, ou par domaine avec des schémas par environnement, avec une convention de nommage stricte. Les workspaces suivent l'environnement et la sensibilité, et les catalogues de production ne sont rattachés qu'aux workspaces de production. Le stockage managé se déclare au niveau du catalogue, sur des conteneurs dédiés. La personne dit aussi ce qu'elle a écarté et pourquoi.

   Signal d'alerteUn metastore par filiale dans la même région, ce que Databricks ne permet pas. Ou un workspace par équipe pour cloisonner les données, comme on le faisait avant Unity Catalog.

2. Question 2 · senior

   Le RSSI exige qu'aucune donnée ne transite par Internet. Que configurez-vous pour le calcul classique, et pour le serverless ?

   Une bonne réponsePour le calcul classique : un VPC ou un VNet géré par le client, la connectivité sécurisée des clusters, un lien privé entre le calcul et le plan de contrôle, un lien privé ou des listes d'adresses IP côté utilisateurs, et des points de terminaison privés vers le stockage. Pour le serverless : des règles de connectivité privée vers les comptes de stockage et les bases, et une politique de sortie réseau qui limite les destinations. La personne sait que le serverless tourne hors du réseau de l'entreprise et que ce point se discute avec le RSSI.

   Signal d'alerteNe connaître que le peering réseau, ou ignorer que le calcul serverless ne passe pas par le réseau du client.

3. Question 3 · confirmé

   Les métiers veulent des tables gold fiables, les data scientists veulent les données brutes. Comment organisez-vous l'architecture médaillon et les droits qui vont avec ?

   Une bonne réponseBronze lisible par l'équipe d'ingestion seulement, silver nettoyé et dédoublonné ouvert aux data scientists sur demande, gold modélisé pour les métiers. Des contrôles de qualité bloquants entre bronze et silver (attentes des pipelines déclaratifs ou tests), des données personnelles masquées dès le silver par masques de colonnes et filtres de lignes. Chaque niveau a un propriétaire. La personne adapte la règle : une source déjà propre peut sauter un niveau.

   Signal d'alerteTrois copies complètes des données par principe, ou le bronze ouvert à tous « pour aller plus vite ».

4. Question 4 · confirmé

   Vous définissez la stratégie de calcul d'une plateforme neuve. Qui a droit à quoi, et comment évitez-vous qu'un cluster oublié coûte un mois de budget ?

   Une bonne réponseServerless pour les jobs et les SQL warehouses quand les contraintes réseau le permettent, job clusters pour les traitements lourds réguliers, peu de clusters all-purpose et toujours avec arrêt automatique. Des politiques de calcul par profil (taille maximale, types d'instances, tags obligatoires), des politiques de budget serverless, des tags d'équipe exploités dans les tables système de facturation, et des alertes. Chaque ressource est rattachée à un centre de coût dès sa création.

   Signal d'alerte« Chacun crée ses clusters, nous regarderons la facture. »

5. Question 5 · senior

   Une entité externe doit lire chaque jour des tables de votre lakehouse, depuis un autre cloud. Comment la servez-vous ?

   Une bonne réponsePar Delta Sharing (OpenSharing dans la documentation récente) : en mode Databricks à Databricks si elle a Unity Catalog, sinon en mode ouvert avec jeton ou fédération OIDC. On partage des tables gold ou des vues limitées au besoin. La personne anticipe les frais de sortie entre régions ou entre clouds, une copie côté destinataire pour les tables lues très souvent, et le fait que les droits se redéfinissent dans le metastore qui reçoit.

   Signal d'alerteUn export CSV nocturne vers un bucket, ou les identifiants d'un principal de service remis au partenaire.

L'embauche d'un architecte Databricks en quatre questions

Pour structurer vos autres entretiens, consultez aussi nos pages sur les questions d'entretien de recrutement, la méthode de l'entretien structuré et la grille d'évaluation d'entretien.