Un AI product manager décide de ce qu'un produit confie à un modèle, mesure si ce modèle fait le travail et arbitre entre qualité, latence et coût. Chez un éditeur SaaS, il pilote un assistant intégré au produit. Dans un grand groupe, il porte des outils IA internes pour des milliers de salariés. En ESN, il intervient en mission pour cadrer des cas d'usage chez un client. Le socle reste le même, et c'est lui que les questions d'entretien d'un product manager IA doivent vérifier.
Beaucoup de CV de product managers mentionnent désormais l'IA générative. La différence se voit vite quand on parle de mesure. Une personne qui a livré un produit IA a construit un jeu d'évaluation, a vu un modèle se dégrader après une mise à jour du fournisseur et sait d'où venait une facture d'inférence qui gonflait. Une personne qui a surtout animé des ateliers parle de vision et de potentiel, rarement de taux d'erreur.
Un candidat crédible cite la taille de son jeu d'évaluation, la fréquence à laquelle il le rejoue et le coût mensuel d'inférence de son dernier produit. Le PDF contient 30 questions réparties sur six axes, un cas de 20 minutes sur un assistant pour conseillers clientèle et une grille de notation de 1 à 4.
Le vocabulaire technique d'un produit IA, expliqué au recruteur
LLM et modèles de machine learning
Un LLM, comme ceux d'OpenAI, d'Anthropic, de Mistral AI ou de Google, génère du texte à partir d'instructions. Un modèle de machine learning classique apprend une tâche précise, comme un score ou une classification, à partir de données étiquetées. Un AI product manager choisit entre les deux selon la tâche, le volume et le coût d'une erreur. Méfiez-vous d'un profil qui ne connaît que le premier.
Jeu d'évaluation
C'est une collection de cas réels avec la réponse attendue ou des critères de jugement, validée par des experts métier. Il sert à comparer deux modèles, deux prompts ou deux versions avant toute mise en production. Sans lui, personne ne peut dire si un changement améliore ou dégrade le produit. Demandez qui l'a construit et comment il évolue.
Métriques de modèle
Précision, rappel, taux de réponses correctes, fidélité aux sources, taux d'hallucination. Ces chiffres décrivent ce que fait le modèle, pas ce que gagne l'utilisateur. Le bon profil sait lequel compte pour son cas et à quel seuil le produit devient utilisable.
LLM-as-judge et annotation humaine
Faire noter les réponses par un autre LLM permet d'évaluer des milliers de cas à moindre coût. Ce juge a des biais connus et doit être comparé régulièrement à des notes d'experts. Un candidat qui s'appuie uniquement sur le juge, sans contrôle humain, mesure mal.
Coût d'inférence et latence
Les fournisseurs facturent au token, en entrée comme en sortie, et le coût grimpe avec la taille du contexte et le nombre d'appels. La latence se mesure jusqu'au premier mot affiché et au 95e centile. Le cache de prompt, le routage vers des modèles plus petits et le traitement par lots font baisser la facture. Un AI product manager doit savoir estimer ce coût avant de construire.
RAG, agents et fine-tuning
Le RAG fait répondre le modèle à partir de documents internes retrouvés à la volée. Un agent enchaîne des actions dans d'autres logiciels via des outils. Le fine-tuning réentraîne un modèle sur des exemples pour un format ou une tâche précise. Le product manager n'a pas à les coder, mais il doit savoir lequel convient et ce que chacun coûte en tests.
Observabilité et traces
Des outils comme Langfuse ou LangSmith enregistrent chaque requête, les documents utilisés, les tokens consommés et la réponse. Ces traces servent à comprendre une erreur, à suivre le coût par fonctionnalité et à alimenter le jeu d'évaluation avec les cas réels.
Sécurité des LLM
L'injection de prompt consiste à détourner le modèle par un texte malveillant, tapé par l'utilisateur ou caché dans un document. La parade passe par des droits d'accès appliqués avant le modèle, des outils aux permissions minimales et des tests adverses. Une consigne dans le prompt ne protège rien.
AI Act et RGPD
Le règlement européen sur l'IA classe les systèmes par niveau de risque. Les obligations de transparence de l'article 50 s'appliquent depuis le 2 août 2026, et celles des systèmes à haut risque de l'annexe III (emploi, crédit, éducation) à partir du 2 décembre 2027. Le RGPD continue de s'appliquer à toute donnée personnelle envoyée à un modèle.
Le poste change selon l'entreprise. Chez un éditeur de logiciel, l'AI product manager porte une fonctionnalité vendue aux clients et répond de sa marge, donc de son coût d'inférence. Dans un grand groupe, il gère souvent un portefeuille d'outils internes, avec des enjeux de confidentialité et de déploiement à grande échelle. En ESN ou en cabinet, il cadre des cas d'usage en mission et doit trancher vite entre ce qui relève d'un modèle et ce qui relève d'une règle. Dans tous les cas, les questions techniques portent sur le cadrage, l'évaluation, le coût et le risque. La capacité à coder n'est pas exigée, la capacité à lire une trace et un tableau de résultats l'est.
Six compétences à vérifier chez un AI product manager
- Cadrage d'un cas d'usage IA
- Évaluation des modèles et des LLM
- Métriques produit et expérimentation
- Coûts d'inférence et choix d'architecture
- Sécurité, RGPD et AI Act
- UX des erreurs et boucle de retour
Questions d'entretien pour un product manager IA, réponses attendues comprises
Chaque question vient avec ce qu'une bonne réponse contient et le signal qui doit vous alerter. Pas besoin d'être technique pour les poser : écoutez si le candidat raconte du vécu.
Question 1 · confirmé
L'équipe veut remplacer le modèle de l'assistant client par un modèle moins cher. Comment décidez-vous si la qualité tient ?
Une bonne réponseAvec un jeu d'évaluation construit à partir de vraies demandes, anonymisées et classées par type, dont les réponses attendues ont été validées par des experts métier. Les deux modèles passent sur le même jeu, avec des critères écrits à l'avance : exactitude, fidélité aux sources, refus quand l'information manque, respect du format. La personne regarde les cas sensibles un par un, pas seulement la moyenne, puis prévoit un test limité en production avant de basculer.
Signal d'alerte« On a essayé une dizaine de questions et les réponses étaient bonnes », ou s'appuyer sur les classements publics publiés par les fournisseurs, qui ne mesurent pas votre cas d'usage.
Question 2 · junior à confirmé
Un service demande « un chatbot IA » pour traiter les réclamations. Quelles questions posez-vous avant d'accepter le sujet ?
Une bonne réponseQuel volume, quel délai de traitement aujourd'hui, et quelle tâche précise : classer la réclamation, résumer le dossier, proposer un brouillon ou répondre seul. Quelles données existent, avec quel historique et quelle qualité. Ce que coûte une erreur, et qui la rattrape. Ce que donnerait une solution sans IA, comme des règles ou un formulaire mieux conçu. Le critère de succès chiffré qui permettra de dire si le projet a marché. Un bon profil propose souvent de commencer par un brouillon relu par un conseiller.
Signal d'alerteCommencer par le choix du modèle ou du fournisseur, ou promettre un taux d'automatisation avant d'avoir regardé une seule réclamation.
Question 3 · confirmé
Le coût mensuel de votre fonctionnalité IA a triplé en deux mois, alors que le nombre d'utilisateurs n'a augmenté que de 30 %. Où cherchez-vous ?
Une bonne réponseDans les traces, le coût par requête et par utilisateur, séparé entre tokens d'entrée et tokens de sortie. Les suspects habituels sont un historique de conversation renvoyé en entier à chaque message, trop de passages documentaires injectés, un agent qui enchaîne les appels, des relances automatiques après erreur, ou une fonctionnalité utilisée autrement que prévu. Les corrections possibles sont le cache de prompt, un modèle plus petit pour les demandes simples, un contexte réduit, le traitement par lots pour ce qui n'est pas urgent et des plafonds par utilisateur. Chaque correction repasse sur le jeu d'évaluation.
Signal d'alerte« On va négocier une remise avec le fournisseur » comme seule piste, ou couper dans le contexte sans vérifier l'effet sur la qualité des réponses.
Question 4 · confirmé
Comment mesurez-vous qu'un assistant de rédaction IA rend vraiment service aux utilisateurs ?
Une bonne réponseSur trois niveaux. La qualité du modèle, mesurée hors ligne sur le jeu d'évaluation. L'usage, avec le taux d'adoption, la part des suggestions acceptées et la part du texte conservée après édition. Le résultat métier, comme le temps de traitement d'un dossier. S'y ajoutent des métriques de garde (signalements, réclamations, erreurs graves). La mesure se fait par déploiement progressif avec un groupe témoin, sur une durée qui dépasse l'effet de nouveauté.
Signal d'alerteLe nombre de requêtes ou le pouce levé comme preuve de valeur, ou une enquête de satisfaction déclarative sans groupe de comparaison.
Question 5 · senior
Votre produit aide une banque à présélectionner des demandes de crédit avec un modèle. Qu'est-ce que l'AI Act change pour vous, et à quelle échéance ?
Une bonne réponseL'évaluation de la solvabilité des personnes physiques figure dans l'annexe III, ce qui en fait un système à haut risque. Le fournisseur doit tenir un système de gestion des risques, maîtriser la qualité des données, rédiger une documentation technique, journaliser, prévoir un contrôle humain et démontrer exactitude et robustesse. La banque, en tant que déployeur, a ses propres obligations. Ces exigences s'appliquent aux systèmes de l'annexe III à partir du 2 décembre 2027, date issue du report du calendrier initial. La personne cite aussi l'article 22 du RGPD sur les décisions automatisées et prépare dès maintenant la documentation et la mesure des biais.
Signal d'alerte« L'AI Act concerne les éditeurs de grands modèles comme OpenAI, pas nous », ou aucune idée de la classification par niveau de risque.
Recevez la fiche d'entretien complète en PDF
La fiche pour mener l'entretien de bout en bout, prête à imprimer ou à partager avec le manager.
- 30 questions sur 6 axes, avec la bonne réponse, le signal d'alerte et la relance
- Le niveau visé pour chaque question
- Une mise en situation de 20 minutes et ce qu'on attend du candidat
- La grille d'évaluation de 1 à 4, axe par axe
Product manager IA : quatre questions de recruteurs
En quoi le poste s'éloigne-t-il de celui d'un product manager classique ?
Un produit classique fait ce que le code lui dit de faire. Un produit IA donne des réponses probables et se trompe dans une partie des cas. L'AI product manager doit donc définir un niveau de qualité acceptable, le mesurer sur un jeu d'évaluation, suivre un coût qui varie avec l'usage et concevoir l'interface autour des erreurs. Les fondamentaux du métier restent valables, comme la découverte utilisateur ou la priorisation. La mesure et le risque prennent une place bien plus grande.
Un AI product manager doit-il savoir coder ?
Ce n'est pas obligatoire. En revanche, il doit pouvoir lire une trace de requête, écrire ou relire un prompt, interpréter un tableau de résultats d'évaluation et faire un calcul de coût au token. Beaucoup prototypent eux-mêmes avec un notebook ou un outil sans code, ce qui accélère le cadrage. Un profil qui renvoie toute question technique vers les ingénieurs aura du mal à arbitrer entre qualité, latence et coût.
Comment mettre un product manager IA en situation sans exercice de code ?
Un cas écrit court vaut mieux qu'un exercice de code. Donnez un besoin métier et un petit tableau de résultats d'évaluation de deux modèles, avec leur coût par requête. Demandez quel modèle retenir, quelles métriques manquent et comment lancer la fonctionnalité. En 30 à 45 minutes, vous voyez si la personne raisonne avec des chiffres et pense aux erreurs, ou si elle reste au niveau de la vision produit.
Que vérifier quand un CV de product manager met en avant l'IA générative ?
Demandez le produit livré, son nombre d'utilisateurs réels et la façon dont la qualité était mesurée. Une personne qui a mené un projet en production cite un jeu d'évaluation, une métrique suivie, un incident ou une hausse de coût qu'elle a dû expliquer. Si le récit s'arrête au prototype ou à l'atelier d'idéation, le profil peut convenir à du cadrage, moins à un produit en exploitation.
Pour structurer vos autres entretiens, consultez aussi nos pages sur les questions d'entretien de recrutement, la méthode de l'entretien structuré et la grille d'évaluation d'entretien.
