轉載從: Tech News 科技新報
《愛國者行動》根據真實情況改編的電影有一個情節:警察在波士頓爆炸案發生後開始瀏覽各種監控影像,意圖找出行為異於常人的嫌犯。
監控影像中,爆炸發生時有一個人把頭轉向相反方向,警方因此鎖定了嫌犯。
電影中,警察或許只要對影像分析員說「放大、再放大!」就能清晰呈現嫌犯的臉,旁邊還即時配上比對資料庫找到的生日、家庭情況、現居地址……
現實情況就一言難盡了,誰知道錄下嫌犯的監控鏡頭是幾年前裝的?這時如果你只說「放大、再放大!」那大概就只能看到一個色彩均勻的像素塊了。想只憑監控影像就鎖定嫌犯,就目前的硬體條件而言還太難。
硬體跟不上,那軟體呢?最近,研究人員展示了 AI 可能有怎樣的貢獻,或許可幫助我們在不失真的情況下恢復人臉的基本特徵。
研究人員透過 AI 重建模糊、低解析度的人臉圖像,使之更清晰、解析度更高,更接近真實人臉。這進展來自一個人工智慧研究領域,稱為「人臉超解析度」,專注於用失真或低解析度圖像重建更貼近真實的人臉。
最近的一機器學習會議,南韓高級科學技術研究院研究人員發表《透過關注臉部標記,逐步提高人臉的超解析度》論文。研究人員提出新的人臉辨識方法,可生成 8 倍超解析度的人臉圖像,並完全保留臉部細節。
▲ 像素圖,還原圖和真實圖的對比。
為了訓練 AI,研究人員採用漸進訓練方法。透過將網路分成連續步驟進行穩定訓練,每個步驟輸出的解析度都逐漸提高。他們還提出新的臉部注意力缺失方法,透過增加像素差和熱圖值恢復臉部屬性。除此之外,訓練 AI 還使用最先進的人臉對齊網路,提取適用人臉 SR 的熱圖,減少訓練時間。
實驗結果證明,研究人員的方法在定性、定量測量、感知品質等方面都優於目前最先進的方法。利用人工智慧的能力,我們從像素化的初始圖像辨識一個人會容易許多。
當然,這畢竟是 AI,還是有很多讓人啼笑皆非的結果。
Twitter 用戶 @jonathanfly 就把平常用的表情包模糊成像素塊讓 AI 挑戰,表情包模糊後的大小正好為 16×16 像素。結果 AI 還原出來有點「可怕」,本身像素化可愛風的鼻子眼睛變成真實的人臉,看上去有點搞笑,變成常用的魔性表情包。
但用真人照片像素化之後,正常的圖片還算貼近原貌。
如果調整像素塊圖片的對比度,對齊人臉效果稍稍偏離,就可能造成還原人臉鼻歪眼斜。
I’m glad I was able to sneak some humor/horror into this otherwise serious @voxdotcom article on “Progressive Face Super-Resolution” with the author @KelseyTuoc‘s face.https://t.co/0F6AXp33ix pic.twitter.com/dUYfTT6KmF
— Jonathan Fly ? (@jonathanfly) September 4, 2019
如果你把披薩像素化之後再辨識,香腸也會變成性感紅唇。
不管多奇怪的圖像最後都能長出人類的五官。
畢竟 AI 還是靠著我們教它的東西重建圖像,所以還原出這些偏向人臉的效果其實也不讓人意外,目前還沒那麼完善也能理解。
部落格 I Forced A Bot 嘗試將像素化圖片從 16×16 調整到 128×128,然後再降低到 16×16。透過這樣的處理,通常得到的是更貼近真實人臉的結果。因為圖像更模糊,能為 AI 的還原工作提供更多創造性解釋圖像的空間。
I Forced A Bot 還發現一個論文沒有公布的細節,有些生成的人臉圖像會有黑色不明物,部落格作者稱為「哈利波特的傷疤」。
到此,這個 AI 已被拿來嘗試做各種表情包,看上去徹底「玩壞了」。
但我們還是要承認,只要不把 AI 用在表情包還原,那麼專注於模糊圖像還原的 AI 還是有非常正面的作用。如果在某個案件捉到的嫌犯圖像過於模糊,那麼 AI 很可能會成為呈現嫌犯相貌的最後一環。
不過現有的技術還無法用於刑案偵察,我們還是只能等 AI 學成歸來,再幫助人類。
(本文由 愛范兒 授權轉載;首圖來源:shutterstock)