動画の背景削除の仕組み：セグメンテーション、マスク、アルファ合成

動画背景削除ツールが計算しているもの

動画背景削除ツールは、ピクセルごとの判定を計算します。各フレームのどの部分が被写体で、どの部分が背景か。その判定がマスクです。マスクさえあれば、被写体に手を加えることなく、背景を単色や画像に差し替えたり、ぼかしたり、完全に取り除いたりできます。

セマンティックセグメンテーションは全ピクセルにラベルを付ける

セマンティックセグメンテーションとは、画像の全ピクセルにクラスラベルを割り当てることです。モデルはフレームと同じサイズのもう1枚の画像を返し、その各ピクセルは色ではなく予測値を持ちます。出力解像度とクラス数が、モデルごとの違いになります。

汎用モデルは道路、空、車、人、建物などにラベルを付けます。インスタンスセグメンテーションは同じクラス内の物体を区別するので、2人なら2つの領域になります。セルフィーセグメンテーションはそのどちらでもありません。

GoogleのMediaPipeセルフィーセグメンテーションのような軽量なセルフィーモデルは、クラスが2つだけで、フレームごとに1枚、ピクセルあたり0〜1の値を持つ信頼度マップを出力します。これは動画の解像度よりかなり低い解像度で読み取られ、拡大して戻されます。このアップサンプリングがマスクで表現できる最も細かい輪郭の上限となる一方、スマホでも動く速さを生み出しています。

アルファ合成でフレームを組み立てる

アルファ合成とは、ピクセルごとの透明度の値を使って前景画像と背景画像を組み合わせる処理です。アルファは各ピクセルの不透明度を記録するため、被写体は背景に対して切り抜かれたものではなく、どんな背景の上にも乗せられるものになります。「over」演算は加重平均です。

result = (foreground x alpha) + (background x (1 - alpha))

信頼度マップがそのアルファチャンネルになります。1は完全な被写体、0は完全な背景で、その間ではレイヤーが比例して混ざります。これにより、髪やモーションブラーが被写体につながって見えます。0と1に二値化すると、マスクはハサミで切ったようになります。そして削除・差し替え・ぼかしは、2枚目のレイヤーが違うだけの同じ処理になります。

クロマキーとセグメンテーションの違い

クロマキーは、基準となる色相からの色の距離でキーイングします。セグメンテーションは学習した特徴から意味上のクラスを推論します。だからこそ、どんな部屋でもグリーンバックなしで使えるのです。

セグメンテーションが失敗する場面

• 細い髪内部マップの1ピクセルより細い。
• モーションブラー一部が被写体、一部が背景。半分というクラスはありません。
• メガネのつる、マイクスタンドモデルの解像度を下回る細さ。
• 顔に当てた手肌と肌が重なり、境界の手がかりがありません。
• コントラストが低い境目がないため、信頼度が0.5に近づきます。
• 2人目の人物被写体1人で学習しているため、それ以外は検出されません。
• 揺らめく輪郭400フレーム目は399フレーム目を知らずに推論されるため、境界上のピクセルが反転します。平滑化すれば、ちらつきの代わりに遅延が生じます。

モデルが動く場所

モデルは、WebAssemblyにコンパイルしてブラウザで動かすことも、GPUサーバーで動かすこともできます。bgremover.aiはモデルを当社GPUサーバーで動かし、それ以外はブラウザで処理します。クリップは縮小されて短いセグメントでアップロードされるため、推論はアップロードと並行して進みます。合成と再エンコードはタブ内で行われます。

サーバー型のツールはどれも、映像をしばらく保持します。remove.bgはアップロードを60分後に破棄し、画像をモデル学習に提供するオプトインを用意しています。bgremover.aiはアップロードもマスクも保存しません。クライアント側で処理すればアップロード自体が不要になりますが、その分はお使いのハードウェアが負担します。

当社が保持するものはプライバシーポリシーに記載しています。クライアント側ツールが端末に求めるものは対応ブラウザで解説しています。

モデルのトレードオフ：MediaPipe、MODNet、BEN2

MediaPipeはスマホでも動くため、端末上での処理に向いています。高性能なGPUで髪の表現が重要な映像を扱うなら、より重いモデルが勝ちます。bgremover.aiはモデルを端末ではなくGPUサーバーで動かしています。

当社の実装でできないこと

アルファチャンネルは出力されません。書き出しはMP4（MP4を書き出せないブラウザではWebM）で、差し替えた背景か、ご自身でキーイングするグリーンバックが入ります。細い髪は当社で最も弱い輪郭ですが、順位は付けていません。測定せずに順位を付けるのは当て推量だからです。クリップは最大5分で、長辺1280ピクセルに縮小されます。混雑時は空いているGPUを少し待つことがあります。

よくある質問