AI 能看懂漫畫嗎?它的腦補能力比人類差多了

51

隨著人工智慧的不斷發展,它似乎已經在很多方面趕超了人類──臉部辨識、物體辨識,還有象棋、圍棋、各種影像遊戲。

人們不禁要問,還有什麼事是 AI 做不好的呢?它在哪方面比不過人類?現在,馬里蘭大學帕克分校(UMCP)的一項研究告訴你,讀漫畫可能就是其中之一。

據國外媒體報導,馬里蘭大學 Mohit Iyyer 教授對 AI 讀漫畫書的能力進行了測試。結果顯示 AI 在這一領域遠遠比不過人類。

AI 能看懂漫畫嗎?它的腦補能力比人類差多了

漫畫由一系列單獨的圖畫構成,每部分都搭配文字解釋,圖文符合度很高。這樣一來,如果單獨看某一張圖片或是某一句文本是很難理解到漫畫意思的。

除此之外,不同作者的繪畫風格、語言風格不同,排版也存在巨大的差異。而且漫畫與影片不同,每張圖畫之間的時間和空間是不連貫的,中間的大量情節需要讀者發揮想像力去腦補,這種對人類是輕而易舉的事情,對 AI 卻是難如登天。

Iyyer 教授用 4,000 本漫畫書創造了一個由 120 萬張漫畫畫格組成的圖庫,每張畫格配有對應的文本對話框。由於涉及版權問題,圖庫中的漫畫全部來源於 20 世紀 30 年代到 50 年代的作品。

為了弄清楚 AI 理解漫畫的能力如何,研究人員進行了讓人工智慧程式依靠之前見過的圖畫預測下一個畫格的實驗。首先研究小組先讓 AI 學習漫畫的創作過程,將漫畫中的一個畫格及其對應的文本投給不同的機器演算法,讓它們學習一組漫畫中的每個畫格之間是如何相互關聯的。在大量訓練之後,研究人員把一組 AI 之前沒有見過的短篇漫畫集對它進行測試,並要求它預測出下一張圖畫或者文本的內容。結果發現,人類預測的正確率高達 80%,而 AI 卻與人類水準相差甚遠。

Iyyer 教授解釋,「雖然如今的 AI 已經在圖像辨識、文本辨識上取得了不凡的成就,但是對於看漫畫這種需要人類大腦進行邏輯推理和想像力思考的活動,它還是遠遠不及人類。不過,這也是我們今後努力的方向。」

(本文由 雷鋒網 授權轉載;首圖來源:Flickr/Jess CC BY 2.0)