Évaluer un data scientist marketing sur l'appétence, l'uplift et le mix

Avant l'entretien d'un data scientist marketing, dressez la liste des modèles attendus. Selon l'entreprise, il construit un score d'attrition pour un service par abonnement, un score d'appétence pour le ciblage CRM, une estimation de la valeur client, un moteur de recommandation pour les e-mails ou un marketing mix model qui répartit le budget entre télévision, search et réseaux sociaux. Les annonces viennent du retail, des télécoms, de la banque et des médias, et d'ESN qui placent ces profils en mission.

La confusion qui coûte le plus cher sépare la prédiction de l'effet. Un score d'appétence très précis cible souvent des clients qui auraient acheté de toute façon, et une campagne peut afficher un bon taux de conversion sans rien rapporter. Les profils expérimentés parlent de groupe témoin, d'uplift, de calibration sur des tests et de fenêtres temporelles qui évitent les fuites de données. Les autres parlent surtout d'AUC.

Sans groupes témoins sur les campagnes, le poste ressemble davantage à du ciblage qu'à de la mesure : vérifiez ce point avec le manager avant l'entretien. Faites décrire au candidat la dernière campagne qu'il a évaluée et le gain mesuré contre le groupe témoin. Le cas pratique traite une campagne anti-churn.

Modèles et bibliothèques d'un data scientist marketing

Scores d'appétence et de churn

Des modèles de classification, souvent une régression logistique ou un gradient boosting (LightGBM, XGBoost), entraînés sur l'historique des clients. Tout se joue dans la définition des fenêtres : ce que l'on sait du client à une date donnée, et ce que l'on cherche à prédire ensuite. Pour estimer le délai avant un départ, certains utilisent l'analyse de survie.

Uplift modeling

Un modèle qui estime, client par client, l'effet de l'action marketing plutôt que la probabilité d'achat. Il s'entraîne sur une campagne passée avec un groupe témoin tiré au sort, avec des méthodes comme le T-learner ou le X-learner, et s'évalue avec une courbe de Qini. CausalML et scikit-uplift sont les bibliothèques les plus citées.

Valeur client (CLV)

L'estimation de ce qu'un client rapportera dans le futur. Pour un commerce sans abonnement, les modèles probabilistes BG/NBD ou Pareto/NBD prédisent le nombre d'achats, et le modèle Gamma-Gamma le panier. La bibliothèque lifetimes, longtemps utilisée, est archivée depuis 2024 et renvoie vers PyMC-Marketing.

Marketing mix modeling

Un modèle sur données agrégées par semaine qui relie les ventes aux dépenses de chaque canal, en tenant compte de la saisonnalité, des prix et des promotions. Les outils open source les plus répandus sont Robyn (Meta), Meridian (Google) et PyMC-Marketing. Il n'utilise aucune donnée personnelle, ce qui le rend insensible à la perte des cookies.

Expérimentation

Tests A/B sur des campagnes, calcul de la taille du groupe témoin, réduction de variance avec CUPED, tests géographiques quand on ne peut pas tirer au sort des individus. C'est la partie qui permet de dire ce qu'une action a réellement rapporté, et elle sert aussi à calibrer les autres modèles.

Recommandation

Proposer des produits dans un e-mail, sur le site ou dans l'application. On part d'achats et de clics plutôt que de notes : factorisation de matrice pour données implicites, modèles à deux tours, ou simple co-achat comme référence. Les métriques hors ligne (recall@k, NDCG) ne remplacent pas un test en conditions réelles.

Python, SQL et mise en production

Python (pandas, scikit-learn) et SQL sur l'entrepôt (BigQuery, Snowflake), parfois Dataiku ou Databricks, MLflow pour suivre les modèles. Les scores partent vers le CRM ou le routeur de campagnes, directement ou par un outil de reverse ETL. Demandez qui, dans les projets cités, a écrit le code de scoring en production.

RGPD et profilage

Un score marketing est un profilage au sens du RGPD. Le client peut s'opposer à tout moment au profilage lié à la prospection, et le pipeline doit l'exclure. Minimisation des données, durée de conservation et prise en compte du consentement font partie du travail, sous le regard de la CNIL.

Le contenu du poste dépend de la maturité de l'entreprise. Chez un grand distributeur, un opérateur ou une banque, le data scientist marketing rejoint une équipe qui gère déjà des dizaines de scores et doit les maintenir, les mesurer et les remplacer. Dans une scale-up par abonnement, il couvre seul le churn, la valeur client et les tests. En agence média ou en cabinet, il construit surtout des marketing mix models pour plusieurs annonceurs. En ESN, il part en mission sur un sujet précis, souvent un score ou une mesure de campagne. Dans tous les cas, l'entretien doit vérifier sa capacité à relier un modèle à une décision mesurable.

Ce que vous devez vérifier chez un data scientist CRM

• Scores d'appétence et de churn sans fuite de données
• Modélisation de l'uplift
• Estimation de la valeur client (CLV)
• Marketing mix modeling et attribution
• Conception et analyse d'expériences
• Recommandation et mise en production des scores

Cinq questions entre score, uplift et budget média

Chaque question vient avec ce qu'une bonne réponse contient et le signal qui doit vous alerter. Pas besoin d'être technique pour les poser : écoutez si le candidat raconte du vécu.

1. Question 1 · confirmé

   Votre score d'appétence cible les clients les plus susceptibles d'acheter. Pourquoi la campagne peut-elle quand même ne rien rapporter ?

   Une bonne réponseParce que beaucoup de ces clients auraient acheté sans la campagne. Ce qui compte est l'écart entre leur comportement avec et sans contact. La personne parle d'uplift : un modèle entraîné sur une campagne avec groupe témoin tiré au sort, qui repère les clients sensibles à l'action et écarte ceux qui achètent de toute façon ou que le contact fait fuir. Elle évalue ce modèle avec une courbe de Qini ou un uplift par décile.

   Signal d'alerte« Si l'AUC est bonne, la campagne sera rentable. » Ou une mesure de succès réduite au taux de conversion des clients ciblés.

2. Question 2 · junior à confirmé

   Pour un modèle de churn sur un service par abonnement, comment fixez-vous la fenêtre d'observation et la fenêtre de prédiction ?

   Une bonne réponseElle choisit une date de photographie. Les variables sont calculées uniquement avec ce qui est connu avant cette date, et la cible est la résiliation dans une période qui suit, avec un délai laissé au marketing pour agir. Elle exclut les clients déjà en préavis, se méfie des variables qui trahissent la résiliation (appel au service résiliation, demande de portabilité) et valide sur une période postérieure à l'entraînement.

   Signal d'alerteDes variables calculées sur toute la période, résiliation comprise, et une validation croisée aléatoire qui mélange passé et futur.

3. Question 3 · confirmé

   Pour un e-commerçant sans abonnement, comment estimez-vous ce qu'un client rapportera dans les douze prochains mois ?

   Une bonne réponseLe client ne résilie jamais explicitement, son départ est invisible. Elle cite les modèles BG/NBD ou Pareto/NBD pour le nombre d'achats futurs, construits à partir de la récence, de la fréquence et de l'ancienneté, et le modèle Gamma-Gamma pour le panier moyen. Elle sait que lifetimes est archivée et que PyMC-Marketing a pris le relais, et propose une alternative par régression sur la dépense future. Elle valide sur une période mise de côté.

   Signal d'alerteUne formule unique panier moyen × fréquence × durée de vie moyenne appliquée à tous les clients.

4. Question 4 · senior

   La direction veut savoir combien rapporte un euro investi en télévision, en search et sur les réseaux sociaux. Comment construisez-vous le modèle ?

   Une bonne réponseUn marketing mix model sur deux à trois ans de données hebdomadaires : ventes, dépenses par canal, prix, promotions, saisonnalité, éléments externes. Chaque canal reçoit un effet de rémanence (adstock) et une courbe de saturation. Une approche bayésienne avec des a priori raisonnables, calibrée sur des tests d'incrémentalité quand il y en a. Elle cite Robyn, Meridian ou PyMC-Marketing et livre des courbes de réponse pour optimiser le budget.

   Signal d'alerteUne régression linéaire sur les dépenses brutes, ou l'attribution au dernier clic présentée comme une mesure du rendement de la télévision.

5. Question 5 · confirmé

   Un test sur une relance par e-mail doit détecter une hausse de 0,5 point du taux d'achat. Comment dimensionnez-vous le groupe témoin ?

   Une bonne réponseUn calcul de puissance à partir du taux d'achat de référence, de l'effet minimal à détecter, du risque d'erreur et de la puissance voulue. Elle en déduit la taille des groupes et la durée, tire au sort au niveau du client et fixe l'indicateur principal avant le lancement. Elle propose CUPED, qui utilise le comportement d'avant le test pour réduire la variance et la durée.

   Signal d'alerte« On garde 10 % de témoin, comme d'habitude », sans calcul, ou un test arrêté dès que la p-value passe sous 0,05.

Data scientist marketing ou data analyst CRM, et autres questions fréquentes

Pour structurer vos autres entretiens, consultez aussi nos pages sur les questions d'entretien de recrutement, la méthode de l'entretien structuré et la grille d'évaluation d'entretien.