轉載從: Tech News 科技新報
仔細來看，AI 換臉技術近些年還是成熟不少，整體的臉部貼合度、細節處理都有了明顯的提升。近日，Deepfake 領域再一次取得重要突破。據了解，迪士尼公司公布一項最新研究成果，聲稱其人臉交換技術可達到業內最高水平。
從效果圖來看，果然挑不出一點毛病！
（Source：影片截圖，下同）
據了解，迪士尼研究室與蘇黎世聯邦理工學院合作基於 GAN 提出了一種新型演算法，它可以自動實現圖像 / 影片中的人臉交換，同時保證數百萬級的高解析度。
更值得關注的是，目前這項研究成果已初步計劃用於好萊塢大片製作，據說因為它可以改善電影品質和後期製作成本。
走進好萊塢大片的 Deepfake
人臉交換在電影行業並不罕見。在一些好萊塢大片經常會用到替身演員完成一些專業的、高難度動作。為了保證電影效果，後期製作會花費大量成本。然而常見的電腦圖形合成技術，效果常常差強人意，甚至會翻新重拍。
這在時間和金錢方面都是非常大的成本消耗，因此，迪士尼公司特此聯合蘇黎世聯邦理工學院展開此項合作研究。
近日，迪士尼公司對外宣稱，他們研究了一款新型人臉交換技術，可用於電影或電視劇製作。他們聲稱該技術可在人臉交換過程中產生高解析度，逼真的圖像 / 影片，非常適合大螢幕播放。
局部融合更考驗換臉的技術難度。為了驗證演算法性能，研究人員他們沒有對人臉的眼部、唇部等局部器官進行融合，效果也是非常驚人。
基於圖一，對圖二、三分別進行了唇部和眼部的局部人臉融合，可以看出局部融合度非常高，高清、自然，看不出一點破綻。同時它能夠隨著唇部抖動即時貼合，毫無跳脫感。而且研究人員證實，影片中的人臉交換一般比靜態圖像效果更好。
局部人臉交換在動態影片中的融合優勢，這在電影場景中是非常必要的。
更值得關注的是它可以產生百萬級畫素的解析度。不過，研究人員表示他們採用了一種漸進式的方法（Progressive Tr AI ning）對原始影片、圖像進行預訓練，演算法可從中提取較高解析度圖像。下圖可明顯看到經訓練的人臉畫素遠高於未經訓練的結果。
（Source：DisneyResearch，下同）
研究人員介紹，基於高清解析度和局部融合技術的新型演算法最大限度地擴展了人臉交換在電影中的應用。除了替身演員的全臉交換外，如果需要刻畫一位年齡逐漸增長的任務或已經進入垂暮之年的老人，可以根據需要為角色添加細微皺紋、髮型和體態。
另外，它可以與其他作品完成表演上的替換，當然這裡可以對原影片的背景和光照進行特殊處理，以使他可以融入電影場景中。這也是區別於傳統後期製作的一種新方法。
基於梳狀模型的最新演算法
那麼這項 AI 換臉技術是如何實現的呢？我們先來看一組完整的換臉路徑圖：
▲ 人臉交換源的完整示意圖。
步驟 1 和 2：對原始圖像進行臉部辨識、特徵提取，以及標準化剪裁（1,024×1,024）。
步驟 3：將圖像輸入通用編碼器進行模型訓練。
步驟 4：將解碼後輸出的圖像與需要配合的目標進行多頻帶混合，最終得到人臉交換後的效果圖。
其中通用編碼器的訓練模型是一個關鍵，這裡研究人員採用的是一種漸進式梳狀網路結構（Comb Model）臉部交換主要是透過域轉移的方法來實現。我們使用通用編碼器將經預處理的圖像嵌入共享的潛在空間中，然後使用與之對應的解碼器將這些嵌入映射回畫素空間中。通常域轉移主要在這兩個空間中進行切換，但在本文中，研究人員擴展了一種新的思路。
如我們圖中看到的，經編碼器處理的圖像，被解碼器分支到 P個域中，研究人員將這種架構成為梳狀模型，這裡各個編碼器就相當於梳狀結構的「梳齒」。
在這裡，單個梳狀模型可以處理多個原始目標的人臉融合，而且與雙向模型相比，它可以有效減少訓練的時間，同時明顯提高圖像的保真度。
如前文所說，模型訓練採用的是一種漸進式的方式。該過程透過對高解析度圖像進行降採樣，得到低解析度圖像，然後在訓練中再逐步輸入高解析度，逐漸擴展網路的容量，最終得帶高保真圖像。
不過，這裡要注意的是，最終輸出的圖像解析度會受到原始數據集圖像解析度的限制。如果數據集缺乏高解析度，可以採用超解析度的方式對圖像進行預處理，不過最好採用特定於臉部的 SR 訓練方法。
除此之外，研究人員介紹，梳狀模型和多頻帶的混合策略，還有助於保持融合背景的光線和對比度。
對比分析，優勢明顯
研究人員將漸進式梳狀模型與目前 3 種開源的人臉技術，分別為 Deepfake、DeepFaceLab 和 Nirkin et AI 進行對比研究。其中，Nirkin et AI 採用三維可變模型，不需要預訓練。後兩者採用 Y 形自動編碼器結構的實現。
▲ 人臉交換方法的比較
本次試驗對 5 組人臉進行了對比。前 2 列分別是原始圖像和目標圖像，需要進行 AI 融合，從之後的圖像可以看出，本次研究模型在細節融合、圖像解析度以及陰影處理上，要高於其他演算法模型。
而且，它採用的多頻帶混合在消除偽影方面要明顯優於泊松混合。DeepFakes 和 DeepFaceLab 都是使用泊松混合（Poisson）。
不過，研究也存在明顯的局限性，比如無法對戴眼鏡的人進行穩定的人臉交換，不是因為眼鏡部分無法渲染，而是無法將臉部與周圍圖像混合。研究人員曾嘗試調整輸入源與之相配合，但結果時好時壞。
不過，研究人員也解釋在實際應用或電影場景中，可能影響不大。
- High-Resolution Neural Face Swapping for Visual Effects
- Disney Research neural face-swapping technique can provide photorealistic, high-resolution video
- Disney’s Developed Movie-Quality Face-Swapping Technology That Promises to Change Filmmaking
（本文由 雷鋒網 授權轉載；首圖來源：DisneyResearch）