So funktioniert Video-Hintergrundentfernung: Segmentierung, Masken und Alpha-Compositing

Was ein Video-Hintergrundentferner berechnet

Ein Video-Hintergrundentferner trifft für jedes Pixel eine Entscheidung: Welche Teile jedes Frames sind Motiv, welche Hintergrund? Diese Entscheidung ist eine Maske. Sobald sie existiert, lässt sich der Hintergrund durch eine Hintergrundfarbe oder ein Bild ersetzen, unscharf machen oder komplett verwerfen, ohne das Motiv anzutasten.

Semantische Segmentierung beschriftet jedes Pixel

Semantische Segmentierung bedeutet, jedem Pixel eines Bildes eine Klasse zuzuweisen. Das Modell gibt ein zweites Bild in Frame-Größe zurück, in dem jedes Pixel statt einer Farbe eine Vorhersage enthält. Ausgabeauflösung und Anzahl der Klassen unterscheiden ein Modell vom anderen.

Allzweckmodelle beschriften Straße, Himmel, Auto, Person und Gebäude; Instanzsegmentierung trennt Objekte innerhalb einer Klasse, sodass zwei Personen zu zwei Regionen werden. Selfie-Segmentierung macht weder das eine noch das andere.

Ein leichtes Selfie-Modell wie die Selfie-Segmentierung von Googles MediaPipe kennt zwei Klassen und liefert pro Frame eine Konfidenzkarte mit Werten von 0 bis 1 pro Pixel – berechnet weit unter der Auflösung deines Videos und dann wieder hochskaliert. Dieses Hochskalieren begrenzt, wie fein eine Kante in der Maske sein kann, und erkauft die Geschwindigkeit, mit der es auf einem Handy läuft.

Alpha-Compositing baut den Frame zusammen

Alpha-Compositing ist das Kombinieren eines Vordergrundbildes mit einem Hintergrundbild anhand eines Transparenzwerts pro Pixel. Alpha hält fest, wie deckend jedes Pixel ist, sodass ein Motiv über jedem beliebigen Hintergrund liegt, statt vor einem bestimmten ausgeschnitten zu sein. Die „Over“-Operation ist ein gewichteter Mittelwert:

result = (foreground x alpha) + (background x (1 - alpha))

Die Konfidenzkarte wird zu diesem Alphakanal: 1 ist reines Motiv, 0 reiner Hintergrund, und dazwischen mischen sich die Ebenen anteilig – dadurch wirken Haare und Bewegungsunschärfe wie angewachsen. Auf 0 und 1 reduziert schneidet eine Maske wie eine Schere, und Entfernen, Ersetzen und Weichzeichnen werden zur selben Operation mit einer anderen zweiten Ebene.

Chroma Key und Segmentierung unterscheiden sich

Ein Chroma Key keyt anhand des Farbabstands zu einem Referenzfarbton. Die Segmentierung leitet die semantische Klasse aus gelernten Merkmalen ab – deshalb funktioniert sie in jedem Raum ohne Green Screen.

Wo die Segmentierung scheitert

• Feines HaarDünner als ein Pixel der internen Karte.
• BewegungsunschärfeTeils Motiv, teils Hintergrund; für „halb“ gibt es keine Klasse.
• Brillenbügel, MikrofonständerUnterhalb der Auflösung des Modells.
• Eine Hand im GesichtHaut auf Haut, kein Hinweis auf eine Grenze.
• Wenig KontrastKein Bruch, also liegt die Konfidenz nahe 0,5.
• Eine zweite PersonTraining auf ein Motiv; weitere werden nicht erkannt.
• Flimmernde KantenFrame 400 wird berechnet, ohne etwas von Frame 399 zu wissen, also kippen Grenzpixel hin und her; Glätten tauscht Flackern gegen Verzögerung.

Wo das Modell läuft

Ein Modell kann im Browser laufen, kompiliert zu WebAssembly, oder auf einem GPU-Server. bgremover.ai lässt sein Modell auf unseren GPU-Servern laufen und erledigt den Rest im Browser: Der Clip wird verkleinert und in kurzen Abschnitten hochgeladen, sodass die Inferenz parallel zum Upload läuft, und Compositing und Neucodierung passieren im Tab.

Jedes serverseitige Tool behält dein Material eine Weile: remove.bg löscht Uploads nach 60 Minuten und bietet ein Opt-in, um dein Bild fürs Modelltraining freizugeben; bgremover.ai speichert weder Uploads noch Masken. Clientseitige Verarbeitung vermeidet den Upload ganz – dafür zahlt deine Hardware.

Die Datenschutzerklärung dokumentiert, was wir aufbewahren; Browser-Unterstützung erklärt, was ein clientseitiges Tool von einem Gerät braucht.

Modelle im Vergleich: MediaPipe, MODNet, BEN2

MediaPipe eignet sich für die Verarbeitung auf dem Gerät, weil es auf einem Handy läuft. Auf einer leistungsfähigen GPU mit Material, bei dem es auf die Haare ankommt, gewinnt ein schwereres Modell. bgremover.ai lässt sein Modell auf GPU-Servern laufen statt auf deinem Gerät.

Wo unsere Umsetzung aufhört

Ein Alphakanal kommt nicht heraus: Der Export ist MP4 (WebM in Browsern, die kein MP4 schreiben können), mit einem Ersatzhintergrund oder einem Green Screen, den du selbst keyst. Feines Haar ist unsere schwächste Kante – ohne Rangfolge, denn eine Rangfolge ohne Messung ist Raterei. Clips sind auf 5 Minuten begrenzt und werden auf 1280 Pixel an der langen Seite verkleinert, und zu Stoßzeiten wartet ein Auftrag eventuell kurz auf eine freie GPU.

Häufige Fragen