轉載從: Tech News 科技新報
上傳一張照片就能擁有自己的動漫版頭像？名為「Toonify yourself」的 AI 工具就能辦到，且效果非常逼真。
最近話題不斷的真人版《花木蘭》電影掀起一股懷舊動漫風，各種名人漫畫形象頻頻洗板，如這張宮崎駿老爺爺，可愛到能馬上出演動漫電影。
還有演員楊紫瓊的動漫形象，大眼、尖下巴等動漫角色的典型特徵都不缺。
更重要的是幾乎復刻真人，包括頭髮、臉部表情、神態，完全就是自訂化動漫形象。
這些動漫形象全部出自名為「Toonify yourself」的 AI 工具，不僅效果逼真，步驟也很簡單，只需上傳一張照片即可。
據了解，這款工具剛發表就完成 25 萬次轉檔，非常受用戶歡迎，還有網友評論「研發者可考慮商業化了」。
這款工具如何做到的呢？
生成漫畫臉的技術原理
據建立者之一 Doron Adler 介紹，主要利用混合網路（Blended Network），這是複雜的網路機制，主要由兩部分模型組成：StyleGAN Model 和 Blended Model。
StyleGAN Model 負責預訓練原始照片，目的是節省訓練時間和成本，因對個人而言，並不是每個人都有足夠 CPU 或數週時間訓練模型，這過程也稱為「移轉學習」（Transfer learning）。
重要的是透過預訓練模型，可得到更高品質的影像。
Doron 介紹，為了更好的動漫效果，他們收集了迪士尼、皮克斯、夢工廠等約 300 張動漫影像組成資料集，透過訓練資料集學習動漫角色的典型特徵。從以下匯出結果看來，效果非常不錯。
儘管資料集有少量訓練，但大眼、尖下巴等典型特徵都有捕捉到。部分影像較模糊，是因原始影像解析度低，且有些是手繪影像造成。
接下來，臉部微調後的影像會進入 Blend Model 階段。由於 StyleGAN 架構，模型不同層以不同方式影響生成人物的外觀。低解析度層決定頭部姿態和臉部形狀，高解析度層則控制光線和材質等細節。
Doron 使用的 Layer Swapping 程式檔從原始模型擷取高解析度層，從 StyleGAN Model 微調模型擷取低解析度層，最後得到有卡通臉部架構且有照片級逼真渲染效果的混合模型。
可看到使用原始面孔模型和混合卡通模型生成影像，兩者有明顯關連，保持人物原始面貌，同時也達成動漫化。要強調的是，若需要高解析度的卡通形象，得匯入高畫素的原始影像，不得低於 1,024×1,024 畫素。
效果逼真，操作簡單，但因太紅下線
StyleGAN 模型可產生大量臉部影像，可找到任何一張臉部影像。如透過模型匯入一張需處理的影像範例，模型會透過「程式碼」（也稱為潛在向量）匯出與範例完全符合的臉部影像，如下圖左邊為原圖，右邊為生成圖。
然後將有特定「程式碼」的臉部影像匯入混合模型，就可得到卡通化臉部形象。
這過程範例大致經歷三步處理過程：
- 擷取臉部特徵，並自動對齊影像。
- 找到潛在程式碼，複製影像。
- 使用卡通模型的潛在程式碼，處理影像。
基於此原理，用戶只需上傳照片即可。不過可惜的是，由於用戶存取量過大，考慮到伺服器執行成本，Doron 暫時關閉了系統，並表示重新規劃成本效益後，會再次開放。
作者何人？
Justin Pinkney 是另一建立者。與 Doron 一樣，Justin 對生成藝術和機器學習非常感興趣。
從他個人首頁了解，Justin 曾是物理學家，現在英國 MathWorks 擔任軟體顧問，負責演算法開發、模型訓練及組織軟體開發實踐。
Justin 利用 StyleGAN 模型做過多項研究，如透過 StyleGAN Network Blend 讓浮世繪的平面畫變成立體人臉。
此項研究同樣基於「圖層交換」（Layer Swapping）概念，將基礎模型與使用移轉學習的模型（即微調模型）融合，達到最終成果。
此外，還有利用神經網路生成各類假蛋糕圖等。
此類研究的詳細技術過程，Justin 部落格有詳細說明，有興趣的朋友可自行參考。
- [D] “Layer Swapping” on AI models to generate hyper-realistic cartoon faces (Toonify)
- Toonify yourself!
（本文由 雷鋒網 授權轉載；圖片來源：Justin Pinkney）