Video Arka Planı Kaldırma Nasıl Çalışır: Segmentasyon, Maskeler ve Alfa Birleştirme

Video Arka Plan Kaldırıcı Neyi Hesaplar?

Video arka plan kaldırıcı piksel başına bir karar hesaplar: her karenin hangi kısımları özne, hangileri fon. Bu karar bir maskedir. Maske oluştuktan sonra arka plan, özneye dokunmadan bir renk veya görselle değiştirilebilir, bulanıklaştırılabilir ya da tamamen atılabilir.

Semantik Segmentasyon Her Pikseli Etiketler

Semantik segmentasyon, bir görüntünün her pikseline bir sınıf etiketi atanmasıdır. Model, kare boyutunda ikinci bir görüntü döndürür; bu görüntünün her pikseli bir renk yerine bir tahmin taşır. Bir modeli diğerinden ayıran, çıktı çözünürlüğü ve sınıf sayısıdır.

Genel amaçlı modeller yol, gökyüzü, araba, insan ve bina gibi etiketler kullanır; örnek (instance) segmentasyonu aynı sınıftaki nesneleri ayırır, böylece iki kişi iki ayrı bölge olur. Selfie segmentasyonu bunların hiçbirini yapmaz.

Google'ın MediaPipe selfie segmentasyonu gibi hafif bir selfie modelinin iki sınıfı vardır; kare başına piksel değerleri 0 ile 1 arasında olan tek bir güven haritası üretir. Bu harita videonuzun çözünürlüğünün çok altında okunur ve yeniden büyütülür. Bu büyütme, bir maskenin tarif edebileceği en ince kenarı sınırlar; karşılığında da telefonda çalışabilecek hızı kazandırır.

Kareyi Alfa Birleştirme Oluşturur

Alfa birleştirme, bir ön plan görüntüsünü piksel başına bir şeffaflık değeri kullanarak bir arka plan görüntüsüyle birleştirme işlemidir. Alfa her pikselin ne kadar opak olduğunu kaydeder; böylece özne, bir fona karşı kesilip yapıştırılmış gibi değil, herhangi bir fonun üzerinde doğal biçimde durur. "Over" işlemi ağırlıklı bir ortalamadır:

sonuç = (ön plan x alfa) + (arka plan x (1 - alfa))

Güven haritası bu alfa kanalına dönüşür: 1 saf özne, 0 saf arka plandır; aradaki değerlerde katmanlar orantılı olarak karışır, bu da saçın ve hareket bulanıklığının özneye bağlı görünmesini sağlar. 0 ve 1'e düzleştirilen bir maske makas gibi keser; kaldırma, değiştirme ve bulanıklaştırma da yalnızca ikinci katmanı farklı olan aynı işleme dönüşür.

Kroma ve Segmentasyon Farklıdır

Kroma, bir referans renk tonuna olan renk uzaklığına göre ayırır. Segmentasyon ise semantik sınıfı öğrenilmiş özelliklerden çıkarır; bu yüzden her odada yeşil ekran olmadan çalışır.

Segmentasyon Nerede Başarısız Olur?

• İnce saçİç haritanın bir pikselinden daha ince.
• Hareket bulanıklığıKısmen özne, kısmen arka plan; "yarım" diye bir sınıf yok.
• Gözlük sapları, mikrofon standlarıModelin çözünürlüğünün altında.
• Yüzdeki bir elTen üstünde ten, sınır ipucu yok.
• Düşük kontrastSüreksizlik yok, bu yüzden güven 0,5'e yaklaşır.
• İkinci bir kişiTek özneli eğitim; fazladan kişiler algılanmaz.
• Titreşen kenarlar400. kare, 399. kare hakkında hiçbir şey bilmeden çıkarılır; bu yüzden sınırdaki pikseller sınıf değiştirir. Yumuşatma titremeyi gecikmeyle takas eder.

Model Nerede Çalışır?

Bir model tarayıcıda WebAssembly'ye derlenmiş olarak ya da bir GPU sunucusunda çalışabilir. bgremover.ai modelini GPU sunucularımızda çalıştırır, geri kalanını tarayıcıda tutar: klip yeniden boyutlandırılır ve kısa parçalar hâlinde yüklenir, böylece çıkarım yüklemeyle eş zamanlı ilerler; birleştirme ve yeniden kodlama ise sekmede yapılır.

Sunucu tarafında çalışan her araç görüntülerinizi bir süre tutar: remove.bg yüklemeleri 60 dakika sonra siler ve görselinizi model eğitimine katkı olarak vermeniz için bir onay seçeneği sunar; bgremover.ai ise yüklemeleri ve maskeleri saklamaz. İstemci tarafı işleme yüklemeyi tamamen ortadan kaldırır; bedelini ise donanımınız öder.

Neyi sakladığımızı gizlilik politikası belirtiyor; istemci tarafı bir aracın cihazdan neye ihtiyaç duyduğunu ise tarayıcı desteği yazısı anlatıyor.

Model Ödünleşimleri: MediaPipe, MODNet, BEN2

MediaPipe telefonda çalıştığı için cihaz üzerinde işlemeye uygundur. Güçlü bir GPU'da, saçın kritik olduğu görüntülerde daha ağır bir model kazanır. bgremover.ai modelini cihazınızda değil, GPU sunucularında çalıştırır.

Bizim Uygulamamızın Sınırları

Alfa kanalı çıkmaz: çıktı MP4'tür (MP4 yazamayan tarayıcılarda WebM) ve ya yeni bir arka plan ya da kromasını kendiniz uygulayacağınız bir yeşil ekran içerir. İnce saç en zayıf kenarımızdır; sıralama yapmadık, çünkü ölçümsüz sıralama tahminden ibarettir. Klipler 5 dakikayla sınırlıdır ve uzun kenarı 1280 piksel olacak şekilde yeniden boyutlandırılır; yoğun saatlerde bir iş boş bir GPU için kısa süre bekleyebilir.

Sıkça Sorulan Sorular