轉載從: Tech News 科技新報
在今年 SIGGRAPH 大會中，NVIDIA 發布了 GauGAN AI 影像生成系統的最新成果，這套能用簡單線條創造栩栩如生影像的 AI 工具自然受到群眾熱烈歡迎，也不禁好奇 NVIDIA 未來究竟還會帶來什麼樣的驚喜。
包含光追技術、自駕車路徑感知，NVIDIA 的創新多是由旗下研究 NVIDIA Research 所進行，GauGAN 自然也不例外，事實上 GauGAN 背後的重要功臣，便是 NVIDIA 來自台灣的首席研究科學家劉洺堉。
劉洺堉是 NVIDIA Deep Imagination Research 團隊的一員，團隊的目標是透過機器學習與視覺的結合，實現機器創造、實時影像與內容創作，團隊曾發表過許多研究成果，但都沒有最新發布的 GauGAN 來的受社群歡迎，劉洺堉表示，其實開發團隊對此也感到相當驚喜。
GauGAN 也可說是結合各項研究的累積成果。包含為訓練自駕車打造的 UNSUPERVISED、將影像套用名畫風格的 PIX2PIXHD、影像人物替換的 VID2VID 項目都是 NVIDIA Research 的研究計畫，結合這些技術才成就了最新的項目 GauGAN。
▲ 在 Nvidia 看來，就像過去的石板、畫筆、小畫家一樣，AI 也將成為人們傳遞腦中畫面的工具 。
據劉洺堉解釋，之所以命名為「GauGAN」，除了因為有用到 GAN 神經網路，另一方面也是致敬法國知名印象派畫家高更。由於人們在使用 GauGAN 的簡易繪畫操作上確實頗有印象派風格，這項命名選擇也不禁讓人會心一笑。
在圖像辨識的 AI 應用中，語意分割是相當重要的過程，透過將影像以顏色劃分為不同部位並進行標記，AI 可以理解並分辨出照片內含有的元素，而 NVIDIA Deep Imagination Research 團隊好奇的是：過程倒著來行不行？
在這樣的概念之下，GauGAN 也就隨之誕生，在使用數百萬張影像訓練後，GauGAN 現在已經可以將人們簡易畫出來的畫塊及時轉換為擬真的影像，上線至今已有超過 100 萬名獨立使用者嘗試，在許多大神參與下，也創造出許多驚人作品。
▲ 網友運用 GauGAN 作出的圖片。
美中不足的地方在於，由於 GauGAN 主要訓練的數據多是平面視角，因此並無法創造出如仰拍、俯拍的特殊視角，同時 AI 對「山」、「雲」等物品都有固定理解，因此在觀看多張後可能會發現其中的重複之處，同時難以掌控光影變化的「太陽」也是 GauGAN 仍無法攻克的目標。
只是儘管有這些缺點，GauGAN 能做到的事仍舊相當驚人。以電影、遊戲為例，概念設計師經常必須透過原畫與團隊溝通設計理念，但有時只有角色、物品則畫面相對單調，此時只需用 GauGAN 簡易設計畫面架構，便能拿來作為背景使用，增添雙方傳遞腦中畫面的效果。
▲ 透過將原畫與 GauGAN 生成影像結合，創作者可以更好的傳遞畫面概念。
除了傳達概念之外，GauGAN 也還有著其他用途。劉洺堉指出，因為發現 GauGAN 的繪圖過程能夠協助病人減壓，一些醫療中心也向團隊表達對 GauGAN 的興趣。
▲ 新版本中 GauGAN 也可用來創造室內場景，儘管細節仍與真實影像有所區別，但用來當作概念傳遞卻已足夠。
據了解，GauGAN 目前仍在持續進化中，隨著 NVIDIA Deep Imagination Research 持續努力，可想見未來 GauGAN 將讓人們能更輕鬆打造出腦海中的畫面，在新版本推出以前，不妨先來測試版網站上試著體會 GauGAN 的驚人轉換效果吧。
（首圖來源：科技新報，內文圖片來源：NVIDIA）
延伸閱讀：
- Nvidia 正式發布 AI 輔助麻瓜畫圖工具 GauGAN，以及 AR 重現登月歷史場景
- Nvidia 最新「GauGAN」AI 技術，讓小畫家塗鴉變現實風景照
- 有圖不一定有真相！NVIDIA AI 現在能混合人臉特徵，創造出全新臉孔
- 修圖再進化，NVIDIA 用深度學習為圖片自動「填空」