Paano Gumagana ang Pagtanggal ng Background ng Video: Segmentation, Mask at Alpha Compositing

Ano ang Kinukuwenta ng Video Background Remover

Kumukuwenta ang video background remover ng desisyon kada pixel: aling bahagi ng bawat frame ang subject, alin ang backdrop. Ang desisyong iyon ang mask. Kapag mayroon na nito, puwede nang palitan ng kulay o image ang background, i-blur, o tuluyang tanggalin, nang hindi ginagalaw ang subject.

Nilalagyan ng Label ng Semantic Segmentation ang Bawat Pixel

Ang semantic segmentation ay ang paglalagay ng class label sa bawat pixel ng isang image. Nagbabalik ang model ng ikalawang image na kasinlaki ng frame, kung saan ang bawat pixel ay may prediction sa halip na kulay. Ang output resolution at bilang ng class nito ang nagpapaiba sa isang model sa iba.

Nilalagyan ng label ng general-purpose models ang kalsada, langit, kotse, tao at gusali; inihihiwalay ng instance segmentation ang mga object sa loob ng isang class, kaya ang dalawang tao ay nagiging dalawang rehiyon. Wala sa dalawa ang ginagawa ng selfie segmentation.

Ang magaan na selfie model gaya ng MediaPipe selfie segmentation ng Google ay may dalawang class, at isang confidence map kada frame na may 0 hanggang 1 kada pixel, binabasa nang mas mababa kaysa sa resolution ng video mo at pinalalaki ulit. Ang upsampling na iyon ang naglilimita sa pinakapinong gilid na kayang ilarawan ng mask, kapalit ng bilis na kayang tumakbo sa phone.

Binubuo ng Alpha Compositing ang Frame

Ang alpha compositing ay ang proseso ng pagsasama ng foreground image at background image gamit ang transparency value kada pixel. Itinatala ng alpha kung gaano ka-opaque ang bawat pixel, kaya nakapatong ang subject sa kahit anong backdrop sa halip na ginupit laban sa isa. Ang "over" operation ay isang weighted average:

result = (foreground x alpha) + (background x (1 - alpha))

Ang confidence map ang nagiging alpha channel na iyon: 1 ay purong subject, 0 ay purong background, at sa pagitan nila ay naghahalo ang mga layer nang proporsyonal, kaya mukhang nakakabit ang buhok at motion blur. Kapag pinatag sa 0 at 1, para itong gunting na pumuputol, at ang removal, replacement at blur ay nagiging iisang operasyon na iba lang ang ikalawang layer.

Magkaiba ang Chroma Key at Segmentation

Nagki-key ang chroma key batay sa layo ng kulay mula sa isang reference hue. Hinuhulaan naman ng segmentation ang semantic class mula sa mga natutunang feature, kaya gumagana ito nang walang green screen sa kahit anong kuwarto.

Kung Saan Pumapalya ang Segmentation

• Pinong buhokMas manipis pa kaysa sa isang pixel ng internal map.
• Motion blurBahagyang subject, bahagyang background; walang class para sa kalahati.
• Tangkay ng salamin, mic standMas mababa sa resolution ng model.
• Kamay sa mukhaBalat sa balat, walang palatandaan ng hangganan.
• Mababang contrastWalang discontinuity, kaya halos 0.5 ang confidence.
• Ikalawang taoSingle-subject ang training; hindi nade-detect ang iba pa.
• Kumikislap na gilidAng frame 400 ay hinuhulaan nang walang alam sa 399, kaya nagpapalit ang borderline pixels; ang smoothing ay ipinagpapalit ang flicker sa lag.

Kung Saan Tumatakbo ang Model

Puwedeng tumakbo ang model sa browser, naka-compile sa WebAssembly, o sa GPU server. Pinapatakbo ng bgremover.ai ang model nito sa GPU servers namin at iniiwan ang iba sa browser: nire-resize ang clip at ina-upload nang paisa-isang maikling segment para sabay ang inference at ang upload, at sa tab nangyayari ang composite at re-encode.

Itinatago ng kahit anong server-side tool ang footage mo nang ilang panahon: binubura ng remove.bg ang uploads pagkalipas ng 60 minuto at may opt-in para i-ambag ang image mo sa model training, at hindi nagse-save ang bgremover.ai ng uploads o mask. Iniiwasan ng client-side processing ang upload; ang hardware mo naman ang nagbabayad.

Nakasaad sa privacy policy kung ano ang itinatago namin; tinatalakay ng suporta sa browser kung ano ang kailangan ng client-side tool mula sa device.

Mga Tradeoff ng Model: MediaPipe, MODNet, BEN2

Bagay ang MediaPipe sa on-device processing dahil tumatakbo ito sa phone. Sa malakas na GPU na may footage na kritikal ang buhok, panalo ang mas mabigat na model. Pinapatakbo ng bgremover.ai ang model nito sa GPU servers, hindi sa device mo.

Kung Saan Humihinto ang Implementation Namin

Walang alpha channel na lumalabas: MP4 ang export (WebM sa mga browser na hindi makagawa ng MP4), na may ipinalit na background o green screen na ikaw mismo ang magki-key. Ang pinong buhok ang pinakamahina naming gilid, walang ranking dahil hula lang ang ranking nang walang sukat. Hanggang 5 minuto ang clip at nire-resize sa 1280 pixels sa mahabang gilid, at kapag maraming gumagamit, puwedeng maghintay sandali ang job para sa bakanteng GPU.

Mga Madalas Itanong