轉載從: Tech News 科技新報
卡內基美隆大學（Carnegie Mellon University，CMU）研究人員展示，可將不同鏡頭在「野外」拍攝的 iPhone 影片結合起來以創建 4D 視覺化效果，讓觀眾從不同的角度觀看，甚至可將暫時擋住視線的人或物體直接去掉。
想像一下婚禮的景像與畫面，透過許多不同位置鏡頭從各種角度觀看舞者，且完全看不到走在新娘隊伍前面的醉客。卡內基美隆大學機器人學研究所博士生 Aayush Bansal 指出，這些影片可從不同的有利位置個別拍攝，比如在婚禮或生日慶祝會。他補充指出，你也可以在某場景拍攝人群，然後再將受拍者插入另一個場景。
透過 CNN 模型打破影片源數量限制，自由新增或刪除場景裡特定物件
「我們只受限於攝影機的數量。」Bansal 表示，對可使用的影片源數量沒有上限。Bansal 和同事在上個月 IEEE 舉辦的電腦視覺和圖形辨識（Computer Vision and Pattern Recognition，CVPR）虛擬大會展示 4D 視覺化方法。
「虛擬實境」（VR）並不是新鮮事，但在過去，僅限用於研究實驗室的配備設置，如卡內基美隆大學的 Panoptic Studio 多重攝影系統，號稱在曲面牆嵌入 500 多台攝影機。但以往將許多手持攝影機拍攝的真實場景視覺資訊融合到可重建動態 3D 場景的單一綜合模型，是絕對不可能的事。
然而 Bansal 和同事透過卷積神經網路（Convolutional Neural Net，CNN）克服了限制。CNN 是證明擅於分析視覺資料的深度學習模型，他們發現場景特定（Scene-Specific）CNN 可構建場景的不同部分。
研究人員展示透過 15 支 iPhone 捕捉不同場景的方法，包括舞蹈、武術表演，乃至匹茲堡國家鳥類公園（National Aviary）的火鶴。「使用 iPhone 是為了表明，任何人都能用這個系統，」 Bansal 表示：「且整個世界就是我們的工作室。」
這種方法也解開了電影產業與消費型裝置許多應用的可能潛力與前景，特別是在持續風行與成長的虛擬實境頭戴裝置帶動下。雖然這種方法不一定能捕捉到場景完整的 3D 細節，但可限制播放角度，如此一來，就不會看到任何未重建好的區域，對 3D 影像的幻想也不致破滅。
（首圖來源：卡內基美隆大學）