Netflix 不久前推出了第一個互動式選擇節目,觀眾可以拿遙控器控制主角的選擇,進而決定故事發展。不過,從迪士尼的新研究看來,在未來,觀眾也許只需一個微笑,就能改變故事走向了。
迪士尼研究中心(Disney Research)近日發表了一份新論文,公布了一項用於觀察分析在電影院看電影觀眾反應的技術。也就是說,當那些觀眾在看電影的時候,電影其實也在觀察你們看得開不開心。
這項技術名為分解變分自編碼器(factorized variational autoencoders,下稱「FVAE」),是一項採用深度學習的神經網路,它可以在漆黑的電影院裡捕捉上百名觀眾的表情,並可以自行學習「微笑」和「大笑」等概念。
▲ 你看電影時的微笑,屬於哪個區間?(Source:論文截圖)
包括迪士尼在內的電影製作公司,大多都會在電影完成後,找焦點小組來對影片進行測試播映,以了解觀眾的反應是否和創作電影時的意圖相符(在該笑的地方是否有笑,該感動時有沒有感到),並且會根據回饋結果調整影片剪切。
和焦點小組相比,人工智慧可分析的資料以及分析程度更高。迪士尼研究的科學家 Peter Carr 在接受 Phys.org 採訪時表示:
我們能獲得的資料遠比人工可分析的要多。這就是電腦得參與的原因──它們可以在不弄丟重要細節的情況下總結分析資料。
而且,除了收集分析資訊的能力了不起之外,FVAE 讓人更驚豔在於對觀眾反應的預測能力。
本次研究的資料都來自同一家電影院。研究人員在 2015 年至 2016 年間的 12 個月內,在這家電影院裡記錄了 9 部電影(《蟻人》、《動物方城市》、《STAR WARS:原力覺醒》等),合計 153 個場次、3,179 名觀眾以及 1,600 萬條資訊。
而這些資料中,研究人員只用了每場電影 80%的觀眾資料來訓練 FVAE,而剩下的 20%觀眾,就是給 FVAE 的測試題。
對於這 20%觀眾的資料,研究人員只將每名觀眾最開始 5%的資料登錄到 FVAE,做為推測剩下 95% 時間內的觀眾表情變化。雖然 FVAE 獲得的資料還比較初步,但和其他神經網路的預測結果對比,FVAE 的錯誤率是最低的。
▲ FVAE 在判斷資料和預測中的錯誤率都比其他模式低。(Source:論文截圖)
這就意味著,只讓這神經網路觀察你看電影前 10 分鐘左右的表情,它就能猜到,你對剩下的這些內容會不會感興趣。再跳一步想,說不定以後就能用這類神經網路來判斷並為觀眾選擇,讓故事向他們最喜歡的情節發展方面。
內容商對觀眾喜好的觀察形式,一直以來都是在科技發展過程中不斷演變。
從電視時代開始,尼爾森就給樣本家庭提供有記錄功能的機上盒;而到了網路時代,影片則會記錄我們留下的觀看歷史;而現在來到人工智慧時代,在技術強大的分析能力加持下,內容商甚至想即時了解我們對內容在情緒上的喜好,最終甚至達到可預測的能力。
而這個技術,對於產品跨越影視娛樂內容和主題樂園的迪士尼來講,尤其有價值。
在今年 SXSW 活動中,迪士尼研發部副總裁 Jon Snoddy 表示,他們正在嘗試利用人工智慧技術和機器學習,創造極為逼真的動畫角色機器人,並負責和遊客進行互動。這個時候,懂得針對遊客情緒來反映,就顯得特別重要了。
(本文由 愛范兒 授權轉載;首圖來源:Flickr/Marek Kubica CC BY 2.0)