嚴格來說,現有的影片並不是真正的互動媒介,因為使用者只能待在螢幕前平靜地看著,而不能像《哈利波特》裡的油畫可以持續地騷擾畫中人物或物體。然而經由 MIT 的技術,用戶除了能實際「碰觸」影片中的物件,也能經由電腦演算法,模擬並預測物體被干擾後的情形。
MIT 的「電腦科學與人工智慧實驗室」(CSAIL)把這項技術稱為「Interactive Dynamic Video」(IDV)。在示範中,MIT 的研究員除了展示透過滑鼠游標,隨意拉動影片中的吉他弦並讓它振動,也可以讓游標模擬自然風,使樹葉隨風搖擺。
MIT 指出,以往這類虛擬物件都是透過 3D 技術繪出無數張美術圖與情境,例如電影特效,或是電玩效果。不過這種方式雖然能創造完美的畫面,卻得花上大量的時間及製作經費,然而 IDV 卻只需要一台攝影機與電腦就能完成:首先先讓一台普遍攝影機拍下影片,即使 5 秒也可以,再把影片放到電腦,電腦就能經由演算法自動判定影片物體的物理移動方式,並且「誇大」它的效果,進而讓使用者能使用游標「影響」它們。
例如在示範影片中,用戶便可以透過游標讓影片中的樹叢擺動,拉動遮簾,或是彈吉他弦。MIT 也隨手畫了一些虛擬物體取代滑鼠,例如卡通恐龍,並把它丟到遮簾,創造一種像是卡通龍實際碰觸到真實遮簾的效果。有趣的是,MIT 也提到幾個技術的應用方式,例如 Pokémon Go。日後用戶在手機上看到的小火龍就不再只是浮在草地上的圖片,而是能「踩」在地上,壓彎小草,或者用戶也能在電腦上看電影時,用滑鼠撥動演員的頭髮或衣物。
不過,目前 MIT 能實證出來的互動效果仍不脫「震動」與「碰觸」這一類。因此比較成熟的應用方式,應該是透過物理演算法,模擬建物在地震與風暴中的效果。
- MIT creates video you can reach out and touch
- Reach in and touch objects in videos with “Interactive Dynamic Video”
(首圖來源:Flickr/Lane Fournerat CC BY 2.0)