حذف پس‌زمینه ویدیو چطور کار می‌کند: تفکیک سوژه، ماسک و ترکیب آلفا

ابزار حذف پس‌زمینه ویدیو چه چیزی را محاسبه می‌کند

ابزار حذف پس‌زمینه ویدیو برای هر پیکسل تصمیم می‌گیرد: کدام بخش‌های هر فریم سوژه‌اند و کدام پس‌زمینه. این تصمیم همان ماسک است. وقتی ماسک ساخته شد، می‌توان پس‌زمینه را بدون دست زدن به سوژه با یک رنگ یا عکس جایگزین کرد، تار کرد یا کاملاً کنار گذاشت.

تفکیک معنایی به هر پیکسل برچسب می‌زند

تفکیک معنایی (semantic segmentation) یعنی اختصاص یک برچسب کلاس به تک‌تک پیکسل‌های تصویر. مدل تصویر دومی به اندازه فریم برمی‌گرداند که هر پیکسلش به‌جای رنگ، یک پیش‌بینی دارد. وضوح خروجی و تعداد کلاس‌ها، مدل‌ها را از هم متمایز می‌کند.

مدل‌های همه‌منظوره جاده، آسمان، خودرو، انسان و ساختمان را برچسب می‌زنند؛ تفکیک نمونه (instance segmentation) اشیای یک کلاس را از هم جدا می‌کند، پس دو نفر دو ناحیه می‌شوند. تفکیک سلفی هیچ‌کدام از این کارها را نمی‌کند.

یک مدل سبک سلفی مثل MediaPipe selfie segmentation از Google دو کلاس دارد و برای هر فریم یک نقشه اطمینان با مقدار 0 تا 1 برای هر پیکسل می‌سازد که با وضوحی بسیار پایین‌تر از ویدیوی شما خوانده و دوباره بزرگ می‌شود. همین بزرگ‌نمایی ظریف‌ترین لبه‌ای را که ماسک می‌تواند توصیف کند محدود می‌کند و در عوض سرعتی می‌دهد که روی گوشی هم اجرا می‌شود.

ترکیب آلفا فریم را می‌سازد

ترکیب آلفا (alpha compositing) فرایند ترکیب یک تصویر پیش‌زمینه با یک تصویر پس‌زمینه با استفاده از مقدار شفافیت هر پیکسل است. آلفا میزان کدری هر پیکسل را ثبت می‌کند، پس سوژه روی هر پس‌زمینه‌ای می‌نشیند، به‌جای اینکه روی یکی بریده شده باشد. عملیات «over» یک میانگین وزنی است:

result = (foreground x alpha) + (background x (1 - alpha))

نقشه اطمینان همان کانال آلفا می‌شود: 1 یعنی سوژه خالص، 0 یعنی پس‌زمینه خالص، و در میانه، لایه‌ها به نسبت با هم ترکیب می‌شوند؛ به همین دلیل مو و تاری حرکتی به سوژه چسبیده به نظر می‌رسند. اگر ماسک فقط 0 و 1 باشد، مثل قیچی می‌بُرد، و حذف، تعویض و تاری همه یک عملیات می‌شوند با لایه دوم متفاوت.

تفاوت کروما کی و تفکیک سوژه

کروما کی بر اساس فاصله رنگی از یک رنگ مرجع کار می‌کند. تفکیک سوژه کلاس معنایی را از ویژگی‌های آموخته‌شده استنتاج می‌کند؛ به همین دلیل در هر اتاقی بدون پرده سبز کار می‌کند.

جاهایی که تفکیک سوژه شکست می‌خورد

• موی ظریفنازک‌تر از یک پیکسل نقشه داخلی.
• تاری حرکتیبخشی سوژه، بخشی پس‌زمینه؛ کلاسی برای نیمه‌ها وجود ندارد.
• دسته عینک، پایه میکروفونکوچک‌تر از وضوح مدل.
• دست روی صورتپوست روی پوست، بدون نشانه‌ای از مرز.
• کنتراست پایینهیچ گسستی نیست، پس اطمینان به 0.5 نزدیک می‌شود.
• نفر دومآموزش برای یک سوژه؛ افراد اضافه تشخیص داده نمی‌شوند.
• لبه‌های لرزانفریم 400 بدون هیچ اطلاعی از فریم 399 استنتاج می‌شود، پس پیکسل‌های مرزی بالا و پایین می‌پرند؛ هموارسازی، سوسو را با تأخیر عوض می‌کند.

مدل کجا اجرا می‌شود

مدل می‌تواند در مرورگر و کامپایل‌شده به WebAssembly اجرا شود، یا روی یک سرور GPU. bgremover.ai مدلش را روی سرورهای GPU ما اجرا می‌کند و بقیه کار را در مرورگر نگه می‌دارد: اندازه ویدیو کوچک و در بخش‌های کوتاه آپلود می‌شود تا استنتاج هم‌زمان با آپلود انجام شود، و ترکیب و انکود دوباره در خود تب انجام می‌شود.

هر ابزار سمت سرور مدتی فیلم شما را نگه می‌دارد: remove.bg فایل‌های آپلودی را بعد از 60 دقیقه حذف می‌کند و گزینه اختیاری برای در اختیار گذاشتن عکس برای آموزش مدل دارد، و bgremover.ai فایل‌ها و ماسک‌ها را ذخیره نمی‌کند. پردازش سمت کاربر کلاً آپلود را حذف می‌کند؛ در عوض، سخت‌افزار شما هزینه‌اش را می‌پردازد.

سیاست حفظ حریم خصوصی می‌گوید چه چیزی را نگه می‌داریم؛ پشتیبانی مرورگرها توضیح می‌دهد یک ابزار سمت کاربر از دستگاه چه چیزی لازم دارد.

مقایسه مدل‌ها: MediaPipe، MODNet، BEN2

MediaPipe برای پردازش روی دستگاه مناسب است چون روی گوشی اجرا می‌شود. روی یک GPU قوی و با فیلم‌هایی که مو در آن‌ها اهمیت دارد، مدل سنگین‌تر برنده است. bgremover.ai مدلش را به‌جای دستگاه شما روی سرورهای GPU اجرا می‌کند.

محدودیت‌های پیاده‌سازی ما

خروجی کانال آلفا ندارد: خروجی MP4 است (در مرورگرهایی که نمی‌توانند MP4 بسازند WebM) و یا پس‌زمینه جایگزین دارد یا پرده سبزی که خودتان کی می‌کنید. موی ظریف ضعیف‌ترین لبه ماست و رتبه‌ای به آن نداده‌ایم، چون رتبه‌بندی بدون اندازه‌گیری فقط حدس است. ویدیوها حداکثر 5 دقیقه‌اند و اندازه‌شان به 1280 پیکسل در ضلع بلند تغییر می‌کند، و در ساعات شلوغ ممکن است کار کمی منتظر یک GPU آزاد بماند.

سؤالات متداول