利用光線和陰影反射變化,MIT 新演算法可重建影片視野死角

29

轉載從: Tech News 科技新報

利用光線和陰影反射變化,MIT 新演算法可重建影片視野死角

攝影鏡頭總會有死角,有時這些隱藏的資訊就成為懸案的解決關鍵,現在麻省理工(MIT)開發了一種演算法,能夠透過預測光在場景中的傳播方式,從周遭雜物提供的陰影和光線反射重建這些未知角落。

2012 年時,MIT 研究小組開發了一種新的「非視線成像」(NLOS)成像技術,使用相機測量雷射在牆壁反彈的資訊,為正常視線之外的場景建立可辨識的 3D 影像。

NLOS 技術開闢了無限的可能性,但由於價格、器材及範圍的因素,傳統 NLOS 成像在使用上仍有許多限制,為了讓人們能夠更好地了解看不見的事物,MIT 電腦科學與 AI 實驗室(CSAIL)另一批科學家現在開發了一種新方法能夠達到類似的效果,而這次,人們並不需要使用特殊設備。

通過觀察影片中陰影和反射的幾何圖形間相互作用,團隊的演算法可以預測光在場景中的傳播方式,再運用系統估計隱藏的影像輪廓。

由於這項技術是「被動」的,不需要雷射或其他手段協助,這意味著只要在房間內打開攝影機,在不需安裝特殊裝備的情況下,即使是在攝影鏡頭死角發生的事情,也能透過系統重建出物體剪影。

以目前來說,系統處理影像仍需要約 2 個小時才能產生,物體剪影也不甚清晰,但研究人員相信,這項技術最終有可能幫助於重建傳統視線以外的場景。

除了能夠幫助自駕車更好的了解轉彎處正在發生的事情,也可以用於養老中心提高安全,並提高搜救隊的導航能力來避開危險或障礙區域。

新技術的首席研究員、現任職於 NVIDIA 的研究科學家 Miika Aittala 表示,NLOS 成像系統人們可以做到許多事,但是在這項研究中,團隊只使用了自然到達相機的光線,嘗試充分利用來填補稀缺的信息。

「鑑於神經網路的最新進展,這似乎是很好的時機去探索以前這領域被認為無法解決的一些挑戰。」

(首圖來源:Arxiv via MIT