轉載從: Tech News 科技新報
會畫畫的 AI 有多可怕？你是否想過把螞蟻和豬、螃蟹和鯨魚，或 100 種生物任兩個組合起來會是什麼樣子？現在，AI 可以把這些天馬行空的想像全部變成現實。
只需要我們點點滑鼠隨便塗鴉，像這樣：
（Source：Google AI Blog，下同）
犀牛的犄角、老鷹的翅膀、恐龍的尾巴，組合起來就變成這樣：
一幅完美的專業創意作品，對繪畫小白真是太友善。更重要的是，或許還能激發你的創意靈感，這也是 Google 研究團隊推出這款工具的目的之一。
這款 AI 繪畫神器名為 Chimera Painter，是線上工具，功能是利用動物簡圖生成逼真的「小怪獸」。
（Source：TechCrunch）
塗鴉完後，只要點擊「轉換」按鈕，就會自動生成 3D 效果的「怪獸」。Google 研究團隊還把 Chimera Painter 創作的怪獸做成數位卡牌遊戲。
每張卡的攻擊值由怪獸決定，而怪獸的技能由組成的兩種物種決定。
（Source：Google AI Blog，下同）
據了解，這款 AI 工具的研發靈感來自平時玩遊戲都可看到的「怪獸」。Google 研究人員認為，怪獸創作往往需要遊戲美術設計有高度藝術創造力和技術知識，而 AI 可充當畫筆，幫他們節省創作時間，如一鍵完成 3D 渲染，甚至還能增強創造力。
假如遊戲有 100 種動物，每種動物都能融合，會給藝術家帶來很大的工作量，但這對機器學習來說很輕鬆。
那麼這 AI 是如何做到的？
基於 GAN 的生成模型
Chimera Painter 是一種機器學習（ML）模型。為了生成高品質且任意組合的怪獸模組，研究團隊提供數千張生物圖像，並標記如爪、腿、眼睛等特殊部位，以供模型訓練。
訓練過程使用的仍是生成對抗網路（GAN），GAN 已講過很多次，可基於兩個卷積神經網路：生成器和判別器生成高清且逼真的新圖像。工作原理是生成器創建新圖像，判別器確定圖像是否來自訓練資料庫。
不過研究人員提出稱為條件 GAN 的變體，生成器採用單獨輸入指導圖像生成過程。有趣的是，這種方法與其他 GAN 的工作完全不同，因後者通常側重照片真實性，而新工具的目的是融合不同物種成嵌合體。
為了訓練 GAN，研究團隊創建全彩色圖像資料庫，包含單種生物輪廓，改編自 3D 生物模型。這種生物輪廓描述每種生物的形狀和大小，並提供分割地圖辨識身體各部分。
（Source：TechCrunch）
訓練後的模型可基於藝術家提供的輪廓，生成表現最好的多物種嵌合體，並嵌入 Chimera Painter。
創建有結構的生物數據集
使用 GAN 生成新物種時會遇到一個問題，即在繪製圖像細節或低對比度部分時，可能會失去空間的連貫性，包括眼睛、手指，甚至是具相似紋理的重疊身體部位間的區別。
（Source：Google AI Blog，下同）
因此這對訓練資料庫提出一定要求，現有圖庫不適合訓練 ML模型，原因是可能有衝突或缺少多樣性。生成嵌合體的資料庫需要有獨特性，如戲劇性視角、構圖和燈光等。為了解決這問題，研究人員開發用戶主導的半自動方法，即從 3D 生物模型創建 ML 訓練資料庫。過程中用戶將創建並獲得一組 3D 生物模型。
具體來說，他們將使用虛幻引擎製作 2 組紋理，並疊加在 3D 模型上——一組有全彩色紋理（左圖），另一組顯示身體每個部位（如頭、耳朵、脖子等），稱為分割圖（右圖）。
圖二身體細分部分會提交模型訓練，以確保 GAN 了解各種生物身體部位的特定結構、形狀、紋理和比例。
3D 生物模型都放在 3D 場景，並同樣使用虛幻引擎。一組自動化腳本將採用這個 3D 場景，並在不同的姿勢、視點和每個 3D 生物模型的縮放等級間插值，創建全彩色圖像和分割地圖，形成 GAN 的訓練資料庫。
研究人員為每個 3D 生物模型生成 10,000 多張圖像＋分割圖，與手動創建這些資料相比，用戶每張圖像可節省約 20 分鐘。
生成高傳真度圖像
GAN 的超參數大小會影響模型輸出圖像的品質。為了驗證模型哪個版本性能最佳，研究團隊收集分析模型生成不同生物類型的樣本，並提取一些顯著特徵，如深度感、生物紋理樣式、臉部眼睛的真實感等。
這些訊息不僅用於訓練模型新版，且能在模型生出成千上萬生物圖像後，從每種生物類別（如瞪羚、山貓、大猩猩等）選出最佳圖像。
研究團隊透過感知損失（ Perceptual Loss）最佳化 GAN。損失函數組件使用從單獨的卷積神經網路（CNN）提取的特徵計算兩幅圖間的差異，卷積神經網路之前已訓練 ImageNet 資料庫數百萬張照片。
從 CNN 不同層提取特徵，並對每個特徵施加權重，這會影響特徵對最終損耗值的貢獻，這些權重對確定最終圖像的外觀至關重要。
下面是來自不同感知損失權重訓練 GANs 的結果。
顏色變化主要由資料庫導致，因資料庫一個生物往往包含多種紋理（如蝙蝠的紅色版和灰色版），即使忽略顏色變化，許多差異也直接與感知損失值變化有關。研究人員發現，特定值會產生更清晰臉部特徵，使生成生物更有真實感。
下面是一些由 GAN 生成的生物，使用不同感知損失權重訓練，展示模型可處理一小部分輸出和姿勢。
線上體驗
總之，對藝術創作者或繪畫愛好者來說，Chimera Painter 只需調整生物局部形狀、類型或位置，就可輕鬆創建大量圖像，而不是從頭繪製幾十種類似的生物。同時模型還允許使用外部軟體（如 Photoshop）創建的生物輪廓。
Google 團隊表示，希望這些 GAN 模型和 Chimera Painter 工具可激發人們生出新藝術創作思路。
使用機器學習畫畫時，你想創造出什麼東西呢？
（本文由 雷鋒網 授權轉載；首圖來源：Chimera Painter）