Recruter un ingénieur perception ADAS qui maîtrise fusion, suivi et SOTIF

Un ingénieur perception ADAS développe la partie du logiciel qui transforme les signaux des caméras, radars et lidars en une liste d'objets fiable, avec leur position, leur vitesse, leur classe et leur incertitude. Ces objets alimentent le freinage d'urgence, le maintien dans la voie ou la conduite automatisée. Ce profil se recrute chez les constructeurs, les équipementiers, les start-ups de conduite autonome et de robotique mobile, et dans les sociétés d'ingénierie qui placent des consultants sur ces programmes.

Beaucoup de candidats arrivent avec un bon niveau en deep learning acquis sur des jeux publics comme nuScenes ou KITTI. Le poste demande davantage : calibrer et synchroniser des capteurs, suivre des objets dans le temps, tourner sur un calculateur embarqué et justifier les performances dans un dossier conforme à l'ISO 26262 et à la norme SOTIF. Un profil venu de la robotique ou du traitement du signal radar peut convenir aussi, avec d'autres lacunes à vérifier.

L'entretien se joue sur ces écarts entre la recherche et la série. Le dernier faux positif qui a occupé le candidat est un bon sujet : capteur en cause, scène, correction apportée. Le cas pratique du PDF porte sur l'ajout des cyclistes à un freinage d'urgence existant.

Capteurs, logiciels et normes qu'un ingénieur perception manipule

Caméras

Le capteur le plus répandu et le moins cher, indispensable pour lire les panneaux, les marquages et les feux. Le deep learning y détecte et segmente les objets. La caméra souffre de la nuit, de l'éblouissement et de la pluie, et estime les distances moins bien qu'un radar ou un lidar.

Radar

Il mesure directement la distance et la vitesse radiale, par tous les temps. Les radars 4D d'imagerie ajoutent l'élévation et une meilleure résolution. Les objets métalliques fixes, comme les ponts, les plaques d'égout ou les glissières, renvoient des échos qui peuvent tromper la perception, un sujet classique d'entretien.

Lidar et nuages de points

Le lidar balaie l'environnement au laser et produit un nuage de points 3D précis en distance. Les modèles de détection travaillent sur des voxels ou des piliers, avec des architectures comme PointPillars ou CenterPoint. Le capteur est sensible à la pluie, au brouillard et aux surfaces très sombres ou très réfléchissantes.

Fusion de capteurs et suivi d'objets

La fusion combine les capteurs, soit au niveau des objets détectés par chacun, soit plus tôt, dans une représentation commune vue du dessus (BEV). Le suivi associe les détections d'une image à l'autre et estime position et vitesse avec un filtre de Kalman ou ses variantes. C'est souvent là que se séparent les profils de production et les profils de recherche.

ROS 2 et enregistrements de roulage

ROS 2 est le middleware des prototypes et de la robotique mobile. Il fait circuler les données entre modules et enregistre les roulages dans des fichiers rosbag, au format MCAP. Autoware, pile open source de conduite autonome, s'appuie dessus. Dans les véhicules de série, on trouve plutôt AUTOSAR.

Calculateurs embarqués et TensorRT

Les modèles tournent sur des calculateurs comme NVIDIA DRIVE Orin, les puces Mobileye ou les TDA4 de Texas Instruments, avec un budget de calcul et de latence strict. Export vers TensorRT ou vers la chaîne de l'éditeur, quantification et C++ font partie du quotidien.

Simulation et re-simulation

CARLA, IPG CarMaker ou les outils dSPACE simulent des scénarios dangereux impossibles à provoquer sur route, souvent décrits au format ASAM OpenSCENARIO. La re-simulation rejoue des roulages enregistrés dans une nouvelle version du logiciel pour mesurer les régressions. Les deux complètent les essais sur piste et sur route.

ISO 26262, SOTIF et ISO/PAS 8800

L'ISO 26262 traite des défaillances du matériel et du logiciel et classe les risques en niveaux ASIL de A à D. L'ISO 21448, dite SOTIF, traite des cas où le système fonctionne comme prévu mais se trompe, par limite de capteur ou situation imprévue. La perception par apprentissage relève surtout de la seconde, complétée fin 2024 par l'ISO/PAS 8800 consacrée à l'IA dans les véhicules routiers.

Réglementation et protocoles d'essai

Les règlements de l'ONU, comme R152 pour le freinage d'urgence et R157 pour le maintien automatisé dans la voie, et les protocoles Euro NCAP fixent les scénarios que le véhicule doit passer. Les roulages enregistrés contiennent des visages et des plaques d'immatriculation, dont le floutage et la conservation relèvent du RGPD.

Le poste se décline selon la place dans la chaîne. Chez un équipementier, l'ingénieur perception développe et optimise le logiciel d'un capteur ou d'un calculateur vendu à plusieurs constructeurs. Chez un constructeur, il intègre et valide la perception fournie, travaille sur la fusion et sur les cas limites. En start-up de conduite autonome ou de robotique mobile (navettes, engins agricoles, logistique), le périmètre est plus large et le cadre normatif parfois plus léger. En société d'ingénierie, les missions portent souvent sur la validation et l'analyse des roulages. Indiquez dans l'offre la part de recherche, de développement embarqué et de validation attendue.

Six domaines de compétence pour un ingénieur perception ADAS

• Détection 2D et 3D par deep learning
• Lidar, radar et nuages de points
• Calibration, synchronisation et fusion de capteurs
• Suivi d'objets et estimation d'état
• Inférence embarquée et C++
• Validation et sûreté (ISO 26262, SOTIF)

Cinq questions qui partent des données de roulage

Chaque question vient avec ce qu'une bonne réponse contient et le signal qui doit vous alerter. Pas besoin d'être technique pour les poser : écoutez si le candidat raconte du vécu.

1. Question 1 · confirmé

   Les boîtes du lidar projetées sur l'image de la caméra sont décalées, surtout quand le véhicule tourne. D'où vient le problème ?

   Une bonne réponseIl sépare deux causes. Une calibration extrinsèque fausse donne un décalage constant, corrigé avec une mire ou une calibration en ligne. Un décalage qui grandit dans les virages trahit un problème temporel : horloges des capteurs non synchronisées (il faut une base de temps commune, PTP par exemple) ou balayage du lidar non compensé du mouvement du véhicule pendant le tour. Il corrige avec des horodatages précis et la compensation du mouvement propre à partir de l'odométrie ou de la centrale inertielle.

   Signal d'alerteRecalibrer sans distinguer erreur spatiale et erreur temporelle, ou ignorer que le véhicule avance pendant qu'un lidar effectue son tour.

2. Question 2 · confirmé

   Votre détecteur rate un piéton une image sur cinq. Comment évitez-vous que le freinage d'urgence le perde ?

   Une bonne réponsePar le suivi. Un filtre de Kalman, ou ses variantes EKF et UKF, prédit la position de la piste entre deux détections. L'association (algorithme hongrois, distance de Mahalanobis) relie les nouvelles détections aux pistes, et une logique de gestion décide quand confirmer ou supprimer une piste. La fusion avec le radar ou le lidar comble les manques de la caméra. Il mesure l'effet avec des métriques de suivi (MOTA, HOTA) et sur les scénarios de freinage eux-mêmes.

   Signal d'alerteAméliorer seulement le détecteur image par image, sans notion de piste, ou supprimer une piste dès la première détection manquée.

3. Question 3 · senior

   Le véhicule freine sans raison sous certains ponts. Comment analysez-vous le problème ?

   Une bonne réponseIl récupère les enregistrements des événements, rejoue la perception en re-simulation et identifie le capteur qui déclenche. Un pont ou un portique métallique peut renvoyer un écho radar fort, pris pour un obstacle fixe sur la voie. Pistes : estimation de l'élévation avec un radar 4D, confirmation par la caméra ou le lidar avant de freiner, carte des objets fixes connus. Il classe le cas comme condition déclenchante au sens de SOTIF, l'ajoute à la base de scénarios et vérifie la non-régression sur les vrais freinages.

   Signal d'alerteMonter le seuil de détection du radar partout, sans mesurer ce que l'on perd sur les vrais obstacles.

4. Question 4 · confirmé

   Votre détecteur 3D gagne trois points de mAP sur nuScenes. La fonction ADAS s'en porte-t-elle mieux ?

   Une bonne réponsePas forcément. Le mAP fait la moyenne sur les classes et les distances. Il regarde les classes et les zones utiles à la fonction (piétons proches devant le véhicule, véhicules en approche), les erreurs de position et de vitesse dont tient compte le score NDS de nuScenes, la stabilité dans le temps et les faux positifs qui provoquent des freinages. Il évalue ensuite sur les roulages de l'entreprise, dans les conditions difficiles (nuit, pluie), puis sur les indicateurs de la fonction elle-même.

   Signal d'alerteUn gain sur le benchmark présenté comme suffisant, sans un mot sur les faux positifs ni sur la distance.

5. Question 5 · confirmé

   Votre modèle de détection tourne à 15 images par seconde sur le calculateur cible, il en faut 30. Que faites-vous ?

   Une bonne réponseIl profile d'abord pour trouver ce qui coûte : prétraitement, inférence, post-traitement (NMS), copies mémoire entre CPU et GPU. Pistes : export vers TensorRT ou la chaîne de l'éditeur, quantification INT8 avec un jeu de calibration représentatif, résolution d'entrée réduite, architecture plus légère, prétraitement sur GPU, exécution en pipeline. Après chaque étape, il contrôle la performance par classe et par distance, car la quantification peut dégrader d'abord les petits objets lointains.

   Signal d'alerteRéclamer un calculateur plus puissant, ou quantifier sans mesurer l'effet sur la détection.

Recrutement d'un ingénieur perception ADAS : vos questions

Pour structurer vos autres entretiens, consultez aussi nos pages sur les questions d'entretien de recrutement, la méthode de l'entretien structuré et la grille d'évaluation d'entretien.