तरीका
वीडियो बैकग्राउंड रिमूवल कैसे काम करता है: सेगमेंटेशन, मास्क और अल्फ़ा कंपोज़िटिंग
हर वीडियो बैकग्राउंड रिमूवर एक मास्क बनाता है। यहां बताया गया है कि मास्क क्या है, न्यूरल नेटवर्क इसे कैसे बनाता है, यह तैयार फ्रेम कैसे बनता है, और कहां टूटता है।
2
मॉडल कितनी क्लास जानता है
5मिनट
सबसे लंबा क्लिप, हमारा
60मिनट
remove.bg में अपलोड कितनी देर रहता है
MP4
हमारा एक्सपोर्ट
वीडियो बैकग्राउंड रिमूवर क्या कैलकुलेट करता है
वीडियो बैकग्राउंड रिमूवर हर पिक्सल के लिए फ़ैसला करता है: हर फ्रेम का कौन-सा हिस्सा सब्जेक्ट है, कौन-सा बैकड्रॉप। यही फ़ैसला मास्क है। इसके बनते ही बैकग्राउंड को सब्जेक्ट को छुए बिना किसी रंग या इमेज से बदला, ब्लर या पूरी तरह हटाया जा सकता है।
सिमेंटिक सेगमेंटेशन हर पिक्सल को लेबल करता है
सिमेंटिक सेगमेंटेशन का मतलब है इमेज के हर पिक्सल को एक क्लास लेबल देना। मॉडल फ्रेम के साइज़ की एक दूसरी इमेज लौटाता है, जिसके हर पिक्सल में रंग की जगह एक अनुमान होता है। आउटपुट रेज़ोल्यूशन और क्लास की संख्या ही एक मॉडल को दूसरे से अलग करती है।
जनरल-पर्पज़ मॉडल सड़क, आसमान, कार, व्यक्ति और इमारत को लेबल करते हैं; इंस्टेंस सेगमेंटेशन एक क्लास के अंदर ऑब्जेक्ट को अलग करता है, यानी दो लोग दो अलग हिस्से बनते हैं। सेल्फ़ी सेगमेंटेशन इनमें से कुछ नहीं करता।
Google के MediaPipe selfie segmentation जैसे हल्के सेल्फ़ी मॉडल में दो क्लास होती हैं, और हर फ्रेम के लिए एक कॉन्फ़िडेंस मैप जिसमें हर पिक्सल के लिए 0 से 1 तक वैल्यू होती है, जो आपके वीडियो के रेज़ोल्यूशन से काफ़ी कम पर पढ़ी जाती है और फिर बड़ी की जाती है। यह अपसैंपलिंग तय कर देती है कि मास्क कितना बारीक किनारा दिखा सकता है, और इसी से वह स्पीड मिलती है जो फ़ोन पर चलती है।
अल्फ़ा कंपोज़िटिंग फ्रेम बनाती है
अल्फ़ा कंपोज़िटिंग का मतलब है हर पिक्सल की ट्रांसपेरेंसी वैल्यू से फ़ोरग्राउंड इमेज को बैकग्राउंड इमेज के साथ जोड़ना। अल्फ़ा बताता है कि हर पिक्सल कितना अपारदर्शी है, इसलिए सब्जेक्ट किसी भी बैकड्रॉप पर बैठ जाता है, उस पर कटा हुआ नहीं लगता। "over" ऑपरेशन एक वेटेड एवरेज है:
result = (foreground x alpha) + (background x (1 - alpha))
कॉन्फ़िडेंस मैप ही वह अल्फ़ा चैनल बनता है: 1 यानी पूरा सब्जेक्ट, 0 यानी पूरा बैकग्राउंड, और बीच में लेयर अनुपात में मिलती हैं, जिससे बाल और मोशन ब्लर जुड़े हुए लगते हैं। 0 और 1 में बदल दें, तो मास्क कैंची की तरह काटता है, और रिमूवल, रिप्लेसमेंट और ब्लर एक ही ऑपरेशन बन जाते हैं, बस दूसरी लेयर अलग होती है।
क्रोमा की और सेगमेंटेशन में फ़र्क
क्रोमा की एक रेफ़रेंस रंग से दूरी के आधार पर की करती है। सेगमेंटेशन सीखे गए फ़ीचर से सिमेंटिक क्लास का अंदाज़ा लगाता है, इसीलिए यह किसी भी कमरे में बिना ग्रीन स्क्रीन के काम करता है।
| फ़ुटेज | क्रोमा की | सेगमेंटेशन |
|---|---|---|
| हरी जैकेट | सब्जेक्ट में छेद | धड़ पहचान लेता है |
| दोहरा झुका पोज़ | शरीर का मॉडल नहीं | कॉन्फ़िडेंस गिर जाता है |
| बारीक बाल, बराबर रोशनी | साफ़ निकाल लेता है | अपसैंपलिंग नहीं कर पाती |
सेगमेंटेशन कहां फ़ेल होता है
- बारीक बालअंदरूनी मैप के एक पिक्सल से भी पतले।
- मोशन ब्लरकुछ सब्जेक्ट, कुछ बैकग्राउंड; आधे के लिए कोई क्लास नहीं।
- चश्मे की डंडी, माइक स्टैंडमॉडल के रेज़ोल्यूशन से नीचे।
- चेहरे पर हाथत्वचा पर त्वचा, कोई सीमा का संकेत नहीं।
- कम कंट्रास्टकोई साफ़ अंतर नहीं, इसलिए कॉन्फ़िडेंस 0.5 के करीब रहता है।
- दूसरा व्यक्तिएक सब्जेक्ट वाली ट्रेनिंग; बाकी लोग पकड़ में नहीं आते।
- झिलमिलाते किनारेफ्रेम 400 का अनुमान 399 के बारे में कुछ जाने बिना लगता है, इसलिए सीमा के पिक्सल पलटते रहते हैं; स्मूदिंग झिलमिलाहट को देरी में बदल देती है।
मॉडल कहां चलता है
मॉडल ब्राउज़र में WebAssembly में कंपाइल होकर चल सकता है, या GPU सर्वर पर। bgremover.ai अपना मॉडल हमारे GPU सर्वर पर चलाता है और बाकी काम ब्राउज़र में रखता है: क्लिप को छोटा करके छोटे हिस्सों में अपलोड किया जाता है ताकि इनफ़रेंस अपलोड के साथ-साथ चले, और कंपोज़िट व री-एनकोड टैब में ही होते हैं।
आम सर्वर-साइड पाइपलाइन
- अपलोड — फ़ाइल पहले नेटवर्क से गुज़रती है
- GPU के लिए क्यू
- unscreen.pro "Fast (2x)" $4.99 में, "Priority (3x)" $99 में बेचता है
- वापस डाउनलोड
- सर्वर हार्डवेयर पर इनफ़रेंस तेज़ है, बस यही एक स्टेज सर्वर जीतता है
bgremover.ai
- अपलोड — छोटा करके, छोटे हिस्सों में
- हमारे GPU पर सेगमेंटेशन
- टैब में कंपोज़िट
- वहीं री-एनकोड
- सेव करें। कोई वॉटरमार्क नहीं; अपलोड सेव नहीं होते
हर सर्वर-साइड टूल आपकी फ़ुटेज कुछ समय तक रखता है: remove.bg अपलोड 60 मिनट बाद हटा देता है और आपकी इमेज मॉडल ट्रेनिंग के लिए देने का ऑप्ट-इन देता है, और bgremover.ai अपलोड या मास्क सेव नहीं करता। क्लाइंट-साइड प्रोसेसिंग में अपलोड ही नहीं होता; इसकी कीमत आपका हार्डवेयर चुकाता है।
हम क्या रखते हैं, यह प्राइवेसी पॉलिसी में लिखा है; क्लाइंट-साइड टूल को डिवाइस से क्या चाहिए, यह ब्राउज़र सपोर्ट में है।
मॉडल की तुलना: MediaPipe, MODNet, BEN2
| मॉडल | कहां चलता है | बारीक किनारे |
|---|---|---|
| MediaPipe selfie | साधारण हार्डवेयर, फ़ोन | थोड़ा सॉफ़्ट, बेंचमार्क नहीं |
| MODNet, एक मैटिंग मॉडल | फ़ोन से ज़्यादा चाहिए | आंशिक कवरेज |
| BEN2, इससे भी भारी | FP16 WebGPU, डेस्कटॉप | बेंचमार्क नहीं |
| FuzzPuppy: MODNet, BEN2, फ्री | डेस्कटॉप Chrome या Edge | भारी मॉडल |
MediaPipe ऑन-डिवाइस प्रोसेसिंग के लिए सही है क्योंकि यह फ़ोन पर चलता है। अच्छे GPU पर, जहां बाल सबसे ज़रूरी हों, भारी मॉडल बेहतर है। bgremover.ai अपना मॉडल आपके डिवाइस पर नहीं, GPU सर्वर पर चलाता है।
हमारा सिस्टम कहां तक जाता है
कोई अल्फ़ा चैनल नहीं मिलता: एक्सपोर्ट MP4 है (जो ब्राउज़र MP4 नहीं लिख सकते उनमें WebM), जिसमें नया बैकग्राउंड या ग्रीन स्क्रीन होती है जिसे आप खुद की करते हैं। बारीक बाल हमारा सबसे कमज़ोर किनारा है, इसकी रैंकिंग नहीं दी गई क्योंकि बिना माप के रैंकिंग सिर्फ़ अंदाज़ा है। क्लिप 5 मिनट तक सीमित हैं और लंबी साइड पर 1280 पिक्सल तक छोटे किए जाते हैं, और भीड़ के समय काम को खाली GPU के लिए थोड़ा इंतज़ार करना पड़ सकता है।
अक्सर पूछे जाने वाले सवाल
वीडियो बैकग्राउंड रिमूवर क्या है और यह कैसे काम करता है?
यह वीडियो के सब्जेक्ट को उसके बैकड्रॉप से अलग करता है, फिर बैकड्रॉप को बदलता, ब्लर करता या हटा देता है। सेगमेंटेशन मॉडल हर फ्रेम को हर पिक्सल का मास्क देता है, जो अल्फ़ा चैनल की तरह काम करके सब्जेक्ट को एक लेयर के ऊपर कंपोज़िट करता है।
क्या मैं बिना ग्रीन स्क्रीन के वीडियो का बैकग्राउंड हटा सकता हूं?
हां। सेगमेंटेशन मॉडल रंग के बजाय सीखे गए फ़ीचर से अंदाज़ा लगाता है कि कौन-से पिक्सल व्यक्ति के हैं, इसलिए ग्रीन स्क्रीन की ज़रूरत नहीं रहती। कोई भी बैकड्रॉप चलता है, भरा-भरा कमरा भी, हालांकि बालों पर ग्रीन स्क्रीन ज़्यादा सटीक है।
ऑटोमैटिक रिमूवल की जगह क्रोमा की कब इस्तेमाल करें?
क्रोमा की तब इस्तेमाल करें जब बैकड्रॉप एक रंग का और बराबर रोशनी वाला हो और शॉट में बाल अहम हों, क्योंकि रंग की दूरी मास्क से ज़्यादा बारीक डिटेल निकालती है। अगर आपने ग्रीन पर शूट नहीं किया, तो सेगमेंटेशन इस्तेमाल करें।
कटआउट का किनारा फ्रेम के बीच क्यों टिमटिमाता है?
क्योंकि हर फ्रेम अलग से सेगमेंट होता है, पिछले फ्रेम की कोई याद नहीं रहती। मॉडल की 0.5 कॉन्फ़िडेंस सीमा के पास के पिक्सल फ्रेम के बीच क्लास बदलते हैं, इसलिए किनारा रेंगता है, और स्मूदिंग उस झिलमिलाहट को देरी में बदल देती है।
क्या यह टूल मेरा वीडियो किसी सर्वर पर अपलोड करता है?
हां। क्लिप को छोटा करके HTTPS से छोटे हिस्सों में अपलोड किया जाता है और GPU सर्वर पर हमारे AI मॉडल से प्रोसेस किया जाता है; अपलोड और उसके मास्क सेव नहीं होते। फ़ाइनल एक्सपोर्ट आपके ब्राउज़र में बनता है और हमें कभी नहीं भेजा जाता।
बैकग्राउंड रिमूवर आज़माएं
बिना साइन अप के आज़माएं। आपकी फ़ाइल हमारे GPU सर्वर पर प्रोसेस होती है और कभी सेव नहीं होती।