Cara Kerja Penghapus Background Video: Segmentasi, Mask, dan Alpha Compositing

Apa yang Dihitung oleh Penghapus Background Video

Penghapus background video membuat keputusan per piksel: bagian mana dari setiap frame yang merupakan subjek, dan mana yang latar. Keputusan itulah yang disebut mask. Setelah mask tersedia, background bisa diganti dengan warna atau gambar, di-blur, atau dibuang sepenuhnya, tanpa mengubah subjeknya.

Segmentasi Semantik Memberi Label pada Setiap Piksel

Segmentasi semantik adalah pemberian label kelas pada setiap piksel gambar. Model menghasilkan gambar kedua seukuran frame, dan setiap pikselnya berisi prediksi, bukan warna. Resolusi output dan jumlah kelasnya yang membedakan satu model dengan model lain.

Model serbaguna memberi label jalan, langit, mobil, orang, dan bangunan; segmentasi instans memisahkan objek dalam satu kelas, sehingga dua orang menjadi dua wilayah. Segmentasi selfie tidak melakukan keduanya.

Model selfie ringan seperti MediaPipe selfie segmentation dari Google hanya punya dua kelas, dan satu peta keyakinan per frame yang berisi nilai 0 sampai 1 per piksel, dibaca jauh di bawah resolusi video Anda lalu diperbesar kembali. Upsampling itu membatasi detail tepi terhalus yang bisa digambarkan mask, sekaligus memberi kecepatan yang membuatnya bisa berjalan di ponsel.

Alpha Compositing Menyusun Frame

Alpha compositing adalah proses menggabungkan gambar latar depan dengan gambar background menggunakan nilai transparansi per piksel. Alpha mencatat seberapa buram setiap piksel, sehingga subjek tampak menyatu di atas latar apa pun, bukan sekadar ditempel. Operasi "over" adalah rata-rata berbobot:

hasil = (latar depan x alpha) + (background x (1 - alpha))

Peta keyakinan itulah yang menjadi alpha channel: 1 berarti subjek murni, 0 berarti background murni, dan di antaranya kedua lapisan bercampur secara proporsional, sehingga rambut dan motion blur terlihat tetap menyatu. Jika dipaksa menjadi 0 dan 1 saja, mask memotong seperti gunting, dan menghapus, mengganti, maupun mem-blur background menjadi operasi yang sama dengan lapisan kedua yang berbeda.

Chroma Key dan Segmentasi Itu Berbeda

Chroma key bekerja berdasarkan jarak warna dari satu rona acuan. Segmentasi menyimpulkan kelas semantik dari fitur yang dipelajari, itulah sebabnya ia bisa bekerja tanpa green screen di ruangan mana pun.

Di Mana Segmentasi Gagal

• Rambut halusLebih tipis dari satu piksel peta internal.
• Motion blurSebagian subjek, sebagian background; tidak ada kelas untuk setengah-setengah.
• Gagang kacamata, stand mikrofonDi bawah resolusi model.
• Tangan di wajahKulit bertemu kulit, tidak ada petunjuk batas.
• Kontras rendahTidak ada perbedaan yang jelas, sehingga keyakinan mendekati 0,5.
• Orang keduaDilatih untuk satu subjek; orang tambahan tidak terdeteksi.
• Tepi yang berkedipFrame 400 diproses tanpa tahu apa pun tentang frame 399, sehingga piksel di perbatasan berganti-ganti; penghalusan menukar kedipan dengan jeda.

Di Mana Model Dijalankan

Model bisa berjalan di browser, dikompilasi ke WebAssembly, atau di server GPU. bgremover.ai menjalankan modelnya di server GPU kami dan menyerahkan sisanya ke browser: klip diperkecil dan diunggah dalam segmen pendek sehingga inferensi berjalan bersamaan dengan unggahan, sementara compositing dan encoding ulang dilakukan di tab Anda.

Setiap alat berbasis server menyimpan rekaman Anda untuk sementara: remove.bg membuang unggahan setelah 60 menit dan menawarkan opsi untuk menyumbangkan gambar Anda bagi pelatihan model, sedangkan bgremover.ai tidak menyimpan unggahan maupun mask. Pemrosesan di sisi klien menghindari unggahan sama sekali; sebagai gantinya, hardware Anda yang bekerja.

Kebijakan privasi menjelaskan apa yang kami simpan; dukungan browser membahas apa yang dibutuhkan alat sisi klien dari perangkat Anda.

Kelebihan dan Kekurangan Model: MediaPipe, MODNet, BEN2

MediaPipe cocok untuk pemrosesan di perangkat karena bisa berjalan di ponsel. Di GPU yang mumpuni dengan rekaman yang sangat bergantung pada detail rambut, model yang lebih berat lebih unggul. bgremover.ai menjalankan modelnya di server GPU, bukan di perangkat Anda.

Batasan Implementasi Kami

Tidak ada alpha channel di hasilnya: ekspornya berupa MP4 (WebM di browser yang tidak bisa menulis MP4), dengan background pengganti atau green screen yang bisa Anda key sendiri. Rambut halus adalah titik terlemah kami, dan tidak kami beri peringkat karena peringkat tanpa pengukuran hanyalah tebakan. Durasi klip dibatasi 5 menit dan diperkecil menjadi 1280 piksel di sisi terpanjang, dan pada jam sibuk, proses mungkin perlu menunggu sebentar hingga ada GPU yang kosong.

Pertanyaan yang Sering Diajukan