透過 64 台相機、331 盞光源陣列訓練 AI 模型,Google 讓 Pixel 手機玩家成為肖像打光達人

70

轉載從: Tech News 科技新報

透過 64 台相機、331 盞光源陣列訓練 AI 模型,Google 讓 Pixel 手機玩家成為肖像打光達人

「肖像打光」(Portrait Light)是 Google 專為新 Pixel 手機 9 月推出的 AI 人工智慧打光功能,讓攝影師能在拍攝後更改光源方向和亮度。Google 已發表部落格貼文,介紹如何開發技術的方法與始末。 

Pixel 4、Pixel 4a、Pixel 4a(5G)和 Pixel 5 的 Pixel 攝影機,「肖像打光」功能會在預設模式下自動套用到圖像及包含人等夜拍照片。Google 表示,人像模式照片,「肖像打光」功能可提供更吸引人的補光模式,以搭配套用的淺景深效果,帶來「攝影棚品質」的拍攝成效。

Google 表示打光屬於個人選擇,因此開發人員希望由攝影師手動重新定位和調整 Google 相片套用的光源方向與亮度,以符合個人喜好。儘管「肖像打光」是在 Pixel 4 和 5 手機首次亮相的功能,但較舊型 Pixel 手機也能透過更新取得功能(最舊 Pixel 2 也能支援)。

「肖像打光」功能可重新定位光源模擬至特定場景

為了讓 AI 模型了解光源方向的改變會對人臉亮度造成什麼影響,Google 需要數百萬張不同方向光源場景下拍攝的人像照。「透過自動選擇初始照明方向和強度補充照片現有光源,『肖像打光』得以模擬新增到場景的可重新定位光源。」技術開發人員解釋。「我們透過新型機器學習模型的運用做到這點,並使用 Light Stage 運算照明系統拍到的各類型照片資料集訓練。」

透過 64 台相機、331 盞光源陣列訓練 AI 模型,Google 讓 Pixel 手機玩家成為肖像打光達人

Google 開發的兩種模型分別是自動平行光配置和拍攝後合成重新打光。第一個模型首先透過檢視一既定人像作業,然後演算法會在場景放置合成的平行光,這與攝影師在真實世界如何配置離機光源一致。第二種模型會以對既定光源方向和人像看起來很逼真和自然的方式新增合成光。

透過 64 台相機、331 盞光源陣列訓練 AI 模型,Google 讓 Pixel 手機玩家成為肖像打光達人

為了教導自家 AI 如何適當補光兩個模型,Google 充分利用自家 Light Stage 運算照明系統。透過將拍攝主體安置於 Light Stage,再藉由 64 個不同位置的相機多次拍攝模型,並與 Light Stage 中 331 個個別程式 LED 光源組合在一起,如此一來,開發人員便能模擬 AI 必須了解的不同光源條件。Google 表示將「肖像打光」視為自家許多計畫的第一步,這些計畫嘗試透過 AI 與機器學習使行動攝影機拍攝後打光控制功能更強大。

Google Used a 64-Camera, 331-Light Array to Train Its Portrait Lighting AI

(首圖來源:Google