İstemci Tarafında Arka Plan Kaldırma İçin Tarayıcı Desteği ve Performans

Tarayıcının Sağlaması Gerekenler

İstemci tarafı bir arka plan kaldırıcı bir web sayfasının içinde çalışır; bu yüzden ihtiyaç duyduğu her yeteneğin yüklenmek yerine tarayıcı tarafından sunulması gerekir. Dört tanesi önemlidir ve bunlardan biri eksik olan bir cihaz aracı çalıştıramaz.

WebAssembly modeli tarayıcının kendi korumalı alanında çalıştırır; bu da istemci tarafı bir aracın görüntülerini cihazınızda tutar. bgremover.ai ise görüntüleri, arka plan kaldırma nasıl çalışır yazısında anlatıldığı gibi GPU sunucularımıza yükler. Çıkarım büyük ölçüde matris çarpımıdır, bu yüzden GPU ister: WebGL GPU'ya bir grafik API'si, WebGPU ise bir hesaplama API'si üzerinden erişir.

İkisi de yoksa çıkarım CPU'ya düşer. Bitmiş kareleri bir dosyaya kodlayacak bir şey de gerekir: daha yaygın yol MediaRecorder, daha ince ayarlı yol WebCodecs. Dördüncü gereksinim olan çözülmüş kareler için bellek ise en çok hafife alınanıdır.

Üç Çalıştırma Yolu

WebGL bir tasarım değil, geçici bir çözümdür: API üçgen çizmek için yapılmıştır ve veriyi dokular üzerinden taşımak zaman alır. Yine de pratikteki varsayılan odur. WASM, iş bir worker'a taşınmadıkça ana iş parçacığı için yarışır; BEN2 ise FP16 WebGPU gerektirir, yani yalnızca yeni masaüstü GPU'larda çalışır.

Bunu tercih değil, bulunurluk belirler: yalnızca WebGPU kullanan bir araç çalıştığı yerde hızlıdır, başka her yerde ise yoktur.

İlk Çalıştırma Neden Daha Yavaş?

1. 1 Model bir kez indirilir

   Herhangi bir kare işlenmeden önce.

2. 2 Başlatılır ve ısınır

   Ardından ilk kare işlenir.

3. 3 Sonraki klipler ikisini de atlar

   Önbellekten sunulur, geriye yalnızca başlatma kalır.

Bu yüzden istemci tarafı bir araç modeli sayfa açılırken değil, kullanıcı bir işlem yaptığında yüklemelidir: siz sayfaya gelir gelmez inen megabaytlarca WebAssembly, yalnızca okumak için gelen herkese sayfanın bozuk olduğu hissini verir.

Çözülmüş Karelerin Hesabı

Çözülmüş bir video karesi sıkıştırılmamış piksellerden oluşur; bu yüzden belleği büyük ölçüde çözünürlük belirler.

Bu rakamlar ölçüm değil, hesaptır; sıkıştırılmış dosya boyutu da kötü bir göstergedir. Hiçbir şey her karenin aynı anda çözülmesini gerektirmez, ama iş akışı bir çalışma kümesi tutar: çözülen kare, segmentlenen kare, onun maskesi, birleştirilmiş görüntü ve kodlayıcının arabelleği.

Birkaç kareyi 4K'da 33 MB ile çarpınca bir sekmenin bellek bütçesi önem kazanmaya başlar, özellikle telefonda. Uzun ve yüksek çözünürlüklü bir klip başarısız olursa veya sekme yeniden yüklenirse süreyi değil çözünürlüğü düşürün: her boyutu yarıya indirmek belleği dörtte bire düşürür.

İşlem Süresini Ne Belirler?

Bunlar rakam değil, ilişkilerdir: bir dizüstü bilgisayarda ölçülen süre size bir telefon hakkında hiçbir şey söylemez.

• Kare sayısıSüre çarpı kare hızı; 60 fps, 30 fps'nin iki katıdır.
• ÇözünürlükÇözme, birleştirme ve kodlamayı belirler; çıkarım sabit kalır.
• Çalıştırma yoluWebGPU, WebGL ve WASM-SIMD aynı makinede farklı sonuç verir.
• Cihaz sınıfıMasaüstü, dizüstü ve telefon GPU'ları üç ayrı makinedir.
• Model seçimiMatting, kare başına MediaPipe'tan daha pahalıdır.
• Isıl durumIsınmış bir telefonda sürekli GPU işi kısılır.

Tarayıcı Desteği Tablosu

Site evrensel destek iddia etmeden önce tarayıcı bazında doğrulamanın buraya girmesi gerekiyor. Test etmeden yapabileceğimiz iddia mimariyle ilgili: istemci tarafı bir araç WebGPU'ya değil, WebAssembly'ye ve bir GPU yoluna ihtiyaç duyar. bgremover.ai ise yüklemeyi hazırlamak ve dışa aktarılan dosyayı oluşturmak için WebCodecs kullanır ve buna ihtiyaç duyar.

Mobilin Dürüst Tablosu

İstemci tarafı bir araç için mobil tarayıcıları hiç değilse mümkün kılan, MediaPipe selfie segmentasyonunun küçük boyutudur. Mütevazı bellek gereksinimi olan birkaç megabaytlık bir model telefonun sekme bütçesine sığar; masaüstü GPU'su için tasarlanmış bir model sığmaz. bgremover.ai modelini GPU sunucularında çalıştırarak bu sorunu aşar; klibi çözen ve kodlayan yine telefondur.

Tarayıcı bazında test etmeden evrensel mobil destek iddia etmeyeceğiz. Mobil daha zordur: sekme başına daha az bellek, agresif bellek boşaltma, ısıl kısma. Güvenilir yol daha düşük çözünürlükte daha kısa kliplerdir; fotoğraf arka plan kaldırıcıdaki fotoğraflar ise yalnızca tek kare tutar.

Sıkça Sorulan Sorular