Évaluer un ingénieur computer vision vidéo sur RTSP, tracking et cadre CNIL

Un ingénieur computer vision vidéo ne travaille pas sur des images isolées. Il décode des flux de caméras IP, fait tourner un détecteur optimisé sur GPU, suit chaque personne ou véhicule d'une image à l'autre et transforme ces trajectoires en comptages ou en alertes. Les offres viennent des éditeurs de vidéo-analyse, des acteurs de la sécurité, du retail, de la mobilité et des collectivités.

Beaucoup de candidats arrivent avec un projet YOLO entraîné sur un jeu public et une démo sur une vidéo enregistrée. Le métier commence au-delà : quarante flux sur un serveur, une caméra qui se coupe, un identifiant perdu derrière un pilier, des fausses alertes la nuit. Il faut aussi connaître ce que la CNIL accepte, et refuser la reconnaissance faciale quand un client la demande.

Une chaîne complète sur trois ou quatre flux réels vaut mieux, chez un junior, qu'un bon score sur COCO. Le dimensionnement d'un serveur est le bon sujet avec un senior : combien de flux par carte GPU, à quelle résolution, avec quel décodage matériel. Dans le PDF, un cas suit la fréquentation de cinquante magasins.

De la caméra à l'alerte : la chaîne technique du poste

Flux RTSP et codecs vidéo

Les caméras IP diffusent leurs images en RTSP, compressées en H.264 ou H.265, et se configurent souvent via le standard ONVIF. Avant toute IA, il faut décoder ces flux, de préférence avec le décodeur matériel du GPU. Un candidat qui n'a jamais parlé de décodage a rarement dépassé quelques caméras.

GStreamer et NVIDIA DeepStream

GStreamer assemble des chaînes de traitement vidéo. DeepStream, le kit de NVIDIA bâti dessus, regroupe plusieurs flux en lots, fait tourner les modèles et le tracking sur GPU et publie les événements vers Kafka ou MQTT. C'est l'outil le plus cité dès qu'on parle de dizaines de caméras par machine.

Détecteurs : YOLO, RT-DETR

Les modèles qui repèrent personnes, véhicules ou objets dans chaque image. La famille YOLO d'Ultralytics domine les CV, mais elle est publiée sous licence AGPL-3.0, avec une licence commerciale à part. Pour un produit vendu à des clients, demandez comment la question de la licence a été traitée.

Tracking multi-objets

Le tracker relie les détections d'une image à l'autre pour donner à chaque personne un identifiant stable. ByteTrack, BoT-SORT et DeepSORT sont les plus connus, DeepStream propose aussi ses propres trackers. Les comptages et les temps d'attente reposent sur cette brique, bien plus que sur le détecteur.

Ré-identification (ReID)

Un modèle qui décrit l'apparence d'une personne pour la retrouver après une occlusion ou sur une autre caméra. Utile pour les trajets dans un magasin, il soulève vite des questions de protection des données. La personne doit savoir où s'arrête l'usage acceptable.

TensorRT et Triton Inference Server

TensorRT optimise un modèle pour un GPU NVIDIA précis, en demi-précision ou en INT8, ce qui multiplie le nombre de flux par machine. Triton sert plusieurs modèles avec regroupement des requêtes. Vérifiez que la personne contrôle la précision du modèle après conversion.

Edge : NVIDIA Jetson et caméras intelligentes

L'analyse peut tourner près des caméras, sur un boîtier Jetson ou dans la caméra elle-même, ou sur un serveur central. Le choix dépend de la bande passante, de la latence, du coût du matériel et de l'obligation de garder les images sur site. Mettre à jour une flotte de boîtiers est un métier à part entière.

Annotation vidéo

Des outils comme CVAT annotent des pistes sur des séquences, avec interpolation entre images clés et pré-annotation par un modèle. Un jeu d'évaluation construit par caméra et par condition (nuit, pluie, foule) vaut plus que des milliers d'images tirées au hasard.

Cadre légal : CNIL, RGPD, AI Act

En France, la vidéoprotection relève du Code de la sécurité intérieure et du RGPD. Hors du cadre expérimental ouvert pour les Jeux de 2024, la CNIL estime qu'une caméra augmentée dans l'espace public exige un texte spécifique, et exclut le traitement biométrique. L'AI Act interdit en plus certains usages d'identification biométrique à distance. L'ingénieur n'est pas juriste, mais il doit connaître ces limites.

Les intitulés varient : ingénieur computer vision, ingénieur vidéo-analyse, ingénieur deep learning vidéo. Chez un éditeur de vidéo-analyse, la personne améliore des modèles et une chaîne déployés chez de nombreux clients, sur des caméras qu'elle ne choisit pas. En ESN ou en intégration, elle adapte une solution à un site précis, souvent avec du matériel déjà en place. Le profil est rare parce qu'il mêle deep learning, ingénierie vidéo (codecs, GStreamer), optimisation GPU et un peu d'embarqué quand l'analyse tourne sur des boîtiers. Les projets dans l'espace public ajoutent un cadre légal strict, où la CNIL, le Code de la sécurité intérieure et l'AI Act limitent ce qu'on a le droit de détecter.

Six compétences à vérifier chez un ingénieur computer vision vidéo

• Décodage et traitement des flux vidéo
• Détection et optimisation d'inférence GPU
• Tracking multi-objets et ré-identification
• Architecture edge et serveur
• Évaluation sur vidéo et annotation
• Cadre légal et protection des images

L'entretien d'un ingénieur computer vision vidéo en cinq questions

Chaque question vient avec ce qu'une bonne réponse contient et le signal qui doit vous alerter. Pas besoin d'être technique pour les poser : écoutez si le candidat raconte du vécu.

1. Question 1 · senior

   Un serveur doit analyser 40 caméras en 1080p. Comment estimez-vous ce qu'il peut tenir avant de commander le matériel ?

   Une bonne réponseEn découpant la chaîne et en mesurant chaque étape sur le GPU visé. Le décodage d'abord : capacité du décodeur matériel en H.264 ou H.265 à cette résolution. Puis l'inférence : taille d'entrée du modèle, regroupement des flux en lots, précision FP16 ou INT8, mesurée avec trtexec ou un banc DeepStream. Puis le tracking et les règles côté CPU. Il fixe aussi le nombre d'images analysées par seconde selon le besoin, car un comptage n'a pas besoin des 25 images.

   Signal d'alerte« Avec un GPU puissant ça passera », ou un calcul fondé seulement sur la puissance du modèle, sans parler du décodage.

2. Question 2 · confirmé

   Dans un comptage de personnes, le même client est compté trois fois parce que le tracker perd son identifiant derrière un pilier. Comment corrigez-vous ?

   Une bonne réponseIl reconnaît des changements d'identité et des pistes fragmentées. Pistes de correction : garder plus longtemps une piste perdue, ajuster les seuils d'association et le modèle de mouvement (filtre de Kalman), ajouter l'apparence avec un tracker comme BoT-SORT ou DeepSORT, et compter au franchissement d'une ligne par piste plutôt qu'à la détection. Le gain se mesure sur une séquence annotée.

   Signal d'alerte« Je monte le seuil de confiance du détecteur », ou compter les détections présentes dans une zone image par image.

3. Question 3 · senior

   200 magasins ont chacun dix caméras. Où placez-vous l'inférence : sur site ou sur un serveur central ?

   Une bonne réponseIl chiffre d'abord la bande passante nécessaire pour remonter 2 000 flux, puis pèse la latence, le coût d'un boîtier par magasin face à des serveurs GPU, l'exploitation d'une flotte à distance et la confidentialité : traiter sur site permet de ne remonter que des métadonnées, sans images. Souvent, détection et tracking tournent sur place et seuls les comptages partent vers le cloud. Il prévoit la mise à jour progressive des modèles et la supervision des boîtiers.

   Signal d'alerteTout envoyer dans le cloud sans calculer le débit, ou tout mettre en edge sans penser à la maintenance de 200 boîtiers.

4. Question 4 · confirmé

   Un client veut détecter automatiquement les bagages abandonnés dans une gare. Que vérifiez-vous côté cadre légal avant d'écrire du code ?

   Une bonne réponseQui exploite le dispositif et sur quel fondement juridique : la détection d'objets abandonnés figurait dans la liste de l'expérimentation ouverte par la loi de 2023 sur les Jeux, et hors d'un texte spécifique la CNIL considère qu'une caméra augmentée dans l'espace public n'est pas autorisée. Il exclut tout traitement biométrique, prévoit une analyse d'impact (AIPD), une durée de conservation courte, l'information du public et une vérification humaine de chaque alerte.

   Signal d'alerte« C'est pour la sécurité, donc c'est autorisé », ou proposer d'emblée la reconnaissance faciale pour retrouver le propriétaire.

5. Question 5 · confirmé

   Votre détecteur affiche une bonne mAP sur le jeu de test, mais les agents se plaignent de fausses alertes la nuit. Qu'en concluez-vous ?

   Une bonne réponseQue le jeu de test ne ressemble pas au terrain : peu d'images de nuit, pas de vision infrarouge en niveaux de gris, pas de pluie ni de phares. Il évalue par condition et par caméra, mesure les fausses alertes par caméra et par heure plutôt qu'une mAP image par image, ajoute un filtrage temporel (l'événement doit durer plusieurs secondes) et collecte des images de nuit difficiles pour réentraîner.

   Signal d'alerte« La mAP est bonne, le modèle est bon », ou baisser le seuil pour toutes les caméras sans analyse.

Ingénieur computer vision vidéo : ce que les recruteurs demandent

Pour structurer vos autres entretiens, consultez aussi nos pages sur les questions d'entretien de recrutement, la méthode de l'entretien structuré et la grille d'évaluation d'entretien.