隨著科技不斷發展,與其觀察觀眾的反應,不如讓電腦自己就能看懂電影。
麻省理工學院最近公布一項研究成果,研究人員成功透過機器學習訓練電腦來辨識影片中的情緒變化。這意味以後在影片網站觀看各種影片時,電腦也可能在觀察你的喜怒哀樂。
據該團隊的部落格介紹,這項技術使用一個自主開發的機器學習模型,依靠深度神經網路分析了數千部不同類型的影片,包括電影、電視劇和短片等。
研究人員以一種「感情弧線」為指標來評估影片的不同片段引起的情緒是積極還是消極,這種「感情弧線」的數值被研究人員稱為視覺效價(visual valence),並繪製影片中每個場景的情緒變化曲線圖。
在情緒變化曲線圖中,X 軸是以分鐘為單位的時間, Y 軸代表視覺效價(visual valence ),視覺效價的數值越高,表示該時刻反映的情緒越積極。
研究人員以動畫電影《天外奇蹟》一段經典片段來舉例,這段電影開頭幾分鐘的蒙太奇片段,是老爺爺 Carl 回憶與妻子 Ellie 一生的故事,講述了 Carl 小時候因熱愛探險與 Ellie 相識、相愛再到生離死別的過程,感動了無數觀眾。
從這段影片的情緒變化曲線圖可清楚看到,在「Carl 小時候探險」、「Carl 和 Ellie 婚後想生孩子」和「老年的 Carl 和 Ellie 擁抱」這幾個片段時觀眾的心情應該最好,而 Ellie 病逝後,Carl 獨自一人回到家時的情緒最低落。
也就是說,這項 AI 技術可更準確地分析觀眾的笑點和哭點,這對影視製作方來說十分有利。
據悉除了讓機器觀看影片,研究人員也招募志願者手動為影片不同片段標註「情感標籤」。
同時研究人員還會比對分析 Vimeo 上 1,500 部短片下的評論,來判斷觀眾對影片的反應是否和機器分析的一致。
分析大量影片後,麻省理工學院的研究團隊還發現觀眾對大團圓結局的故事往往更喜歡。
其實之前也出現過利用 AI 分析觀眾反應的技術,7 月迪士尼研究中心(Disney Research)就公布了一項用於觀察分析電影院觀眾反應的技術。
迪士尼將這項技術名為分解變分自編碼器(factorized variational autoencoders),與麻省理工學院的 AI 技術一樣是基於深度學習的神經網路。
▲ 你看電影時的微笑,屬於哪個區間?(Source:Disney Research)
這項技術能透過捕捉電影院觀眾的表情,來分析觀眾的情緒,甚至觀察某個觀眾 10 分鐘後還能預測他接下來的反應。
從 Netflix 利用大數據分析拍攝《紙牌屋》成功之後,內容商對數據蒐集和分析的能力要求越來越高,隨著人工智慧的發展,這項任務也寄託到基於深度學習的神經網路。
今年倫敦科幻電影節,第一部由人工智慧編劇的電影短片《Sunspring》曾亮相,並參加了 48 小時挑戰單元競賽,這件事本身就挺科幻。
正如麻省理工學院部落格所說,隨著講故事的人越來越認識人工智慧的價值,以及使用 AI 工具的門檻越來越低,未來的影視和影片創作,或許會因為人工智慧的介入而發生重大改變。