Comment fonctionne la suppression d'arrière-plan vidéo : segmentation, masques et composition alpha

Ce que calcule un outil de suppression d'arrière-plan vidéo

Un outil de suppression d'arrière-plan vidéo prend une décision pixel par pixel : quelles parties de chaque image sont le sujet, lesquelles sont le fond. Cette décision, c'est le masque. Une fois qu'il existe, l'arrière-plan peut être remplacé par une couleur ou une image, flouté ou purement supprimé, sans toucher au sujet.

La segmentation sémantique étiquette chaque pixel

La segmentation sémantique consiste à attribuer une étiquette de classe à chaque pixel d'une image. Le modèle renvoie une seconde image de la taille de l'image d'origine, dont chaque pixel contient une prédiction au lieu d'une couleur. La résolution de sortie et le nombre de classes distinguent un modèle d'un autre.

Les modèles généralistes étiquettent route, ciel, voiture, personne et bâtiment ; la segmentation d'instances distingue les objets d'une même classe, si bien que deux personnes deviennent deux régions. La segmentation selfie ne fait ni l'un ni l'autre.

Un modèle selfie léger, comme la segmentation selfie MediaPipe de Google, a deux classes et une carte de confiance par image contenant une valeur de 0 à 1 par pixel, calculée bien en dessous de la résolution de votre vidéo puis agrandie. Ce suréchantillonnage limite la finesse du bord qu'un masque peut décrire, et apporte la vitesse qui permet de tourner sur un téléphone.

La composition alpha construit l'image

La composition alpha consiste à combiner une image de premier plan avec une image d'arrière-plan à l'aide d'une valeur de transparence par pixel. L'alpha enregistre l'opacité de chaque pixel : le sujet se pose sur n'importe quel fond au lieu d'être découpé sur un seul. L'opération « over » est une moyenne pondérée :

result = (foreground x alpha) + (background x (1 - alpha))

La carte de confiance devient cette couche alpha : 1 correspond au sujet pur, 0 à l'arrière-plan pur, et entre les deux les calques se mélangent proportionnellement, ce qui fait paraître les cheveux et le flou de mouvement bien rattachés. Réduit à 0 et 1, un masque coupe comme des ciseaux, et la suppression, le remplacement et le flou deviennent la même opération avec un second calque différent.

Incrustation chroma et segmentation : deux approches différentes

Une incrustation chroma se base sur la distance de couleur par rapport à une teinte de référence. La segmentation déduit la classe sémantique à partir de caractéristiques apprises : c'est pourquoi elle fonctionne sans fond vert, dans n'importe quelle pièce.

Là où la segmentation échoue

• Cheveux finsPlus fins qu'un pixel de la carte interne.
• Flou de mouvementEn partie sujet, en partie fond ; aucune classe pour une moitié.
• Branches de lunettes, pieds de microSous la résolution du modèle.
• Une main sur le visagePeau sur peau, aucun indice de frontière.
• Faible contrasteAucune discontinuité : la confiance avoisine 0,5.
• Une deuxième personneEntraîné pour un seul sujet ; les autres ne sont pas détectés.
• Bords qui scintillentL'image 400 est inférée sans rien savoir de la 399 : les pixels limites basculent ; le lissage échange le scintillement contre du retard.

Où tourne le modèle

Un modèle peut tourner dans le navigateur, compilé en WebAssembly, ou sur un serveur GPU. bgremover.ai fait tourner son modèle sur nos serveurs GPU et garde le reste dans le navigateur : la vidéo est redimensionnée et envoyée par courts segments pour que l'inférence se fasse pendant l'envoi, et la composition comme le réencodage ont lieu dans l'onglet.

Tout outil côté serveur garde vos images un certain temps : remove.bg supprime les fichiers envoyés au bout de 60 minutes et propose une option pour céder votre image à l'entraînement du modèle, et bgremover.ai ne conserve ni les fichiers envoyés ni les masques. Le traitement côté client évite tout envoi ; c'est alors votre matériel qui paie.

La politique de confidentialité détaille ce que nous gardons ; navigateurs compatibles explique ce qu'un outil côté client exige d'un appareil.

Compromis entre modèles : MediaPipe, MODNet, BEN2

MediaPipe convient au traitement sur l'appareil, puisqu'il tourne sur un téléphone. Sur un GPU performant, avec des images où les cheveux comptent, un modèle plus lourd l'emporte. bgremover.ai fait tourner son modèle sur des serveurs GPU plutôt que sur votre appareil.

Les limites de notre implémentation

Aucune couche alpha en sortie : l'export est un MP4 (WebM sur les navigateurs qui ne savent pas écrire de MP4), avec un arrière-plan de remplacement ou un fond vert à incruster vous-même. Les cheveux fins sont notre point le plus faible, non classé parce qu'un classement sans mesure relève de la devinette. Les vidéos sont limitées à 5 minutes et redimensionnées à 1280 pixels sur le grand côté, et aux heures de pointe une tâche peut attendre brièvement qu'un GPU se libère.

Questions fréquentes