Light Fields 和 Light Stages 技術怎樣影響未來的 Virtual Production

本月初舉行的CVMP 2020 (ACM SIGGRAPH European Conference on Visual Media Production) 網上會議期間 Paul Debevec 就分享了他在Google Research & USC Institute for Creative Technologies裏的研究項目內所涉及到Virtual Production 的兩個主要技術,分別是「Light Fields 」和 「Light Stages」。思之希望在此跟大家分享一下Debevec的團隊是怎樣利用他們所研發的digital照明系統,這個被稱為「DeepView solution for Light Field」的嶄新科技,再配合同樣是他們的「Light Stage」獨特設計,其實是用上 LED 顯示屏幕來複製“現場” HDRI (High-Dynamic Range Imaging) 燈光效果,從而製造出如同現場實拍一樣的 digital燈光照明。這種創新技術大可以取替現今的Chroma key拍攝,把後期製作 (以下稱為 後製) 和 VFX處理帶到全新的一種虛擬生產模式,亦能夠應用在VR,Games和其他CG實拍相關的製作上。

大致上說,Virtual Production 是一種real-time後製 拍攝方法。簡單而言,它主要是運用了「Virtual Set」原理,即係在虛擬CG背景前加上實時composite真人綠幕拍攝,就像大家在電視新聞中所見到的虛擬廠景效果差不多,唯Virtual Production則採用了「Simulcam」同步拍攝方案,把真人實拍,與CG角色還有CG場景等等都一拼進行實時拍攝。換句話說,真 (live)和假 (CG)的都可以在這 Virtual Production 裏一take過拍成。它甚至可以把Motion capture data都能夠 real time render顯示出來。據說,一套完整的 Virtual Production系統應包含了六個重要部分:Camera (無論是In-Cam 或V-Cam和 Simulcam都屬於 cam範疇) ,LED屏幕 (他們利用LED代替了「綠幕」背景),XR (即運用Content Server內容實時製作出來的場景,像以前的 Virtual Set背景的處理) ,Volume (即Motion capture、Volume capture或 Camera Tracking 等 digital data的數據處理) ,VAD (預先設定好的live 和CG assets,例如人物、道具、場景、鏡頭及燈光效果等),和 VIS (即運用real time Rendering,simulation和 real time Compositing所做出的效果) 。下圖為Unreal Engine宣傳片段內的兩張截圖,希望有助大家了解現在的Virtual Production情況:

若有需要,思之可以在另一文章給各位詳盡介紹Virtual Production。我想在此著墨於 Light Fields 和 Light Stages跟Virtual Production的關係,希望讀者們了解一下科研人員所研發的digital 燈光照明技術 是怎樣影響這個全新的 virtual後製 過程。

相信大部分CG人都知道若果唔用 Image-Based Lighting或 HDR貼圖做 VFX shots是很難做到像真度高和做得靚的render output。因此,Debevec團隊特意提出利用一種Environmental HDR 混合Light Field Imaging來處理 “relighting” 他們的 virtual production視覺燈效。他們稱之為「DeepView Immersive Light Field」,而他們拍攝時所用的廠景原來是一個重新建做的「Light Stage」,那些LED屏幕能夠把場景需要的 light fields還原出來,將來甚至可以運用到 AI (人工智能) 幫助演算像真度極高的 light fields,他們稱之為「Multispectral Lighting Reproduction」。每支燈可以帶有red, green, blue, cyan, amber 和 white共六種顏色,還可以載有9-channels data。他們還向著「Multiplexed Color Gradient Illumination」這個 light volumetric system研究方向邁進,盡量把預先capture到的 volumetric lighting data在他們的Light Stages還原出來,繼續為將來的 virtual production創造一個更完美的 CG lighting 視覺效果。如果成功,將來的後製人員可能不再需要做 Chroma Keying了!

祝各位CG人冬至及聖誕快樂!新年新希望!!

參考資料:
https://augmentedperception.github.io/deepviewvideo/
https://www.youtube.com/watch?v=bErPsq5kPzE&feature=emb_logo

標準

香港電腦水墨界又一傑作 ─「離心一墨」(免費軟件)

cgv26

約一年前介紹過《香港電腦水墨動畫的點滴》,早幾天又得悉一位香港人自創水墨繪圖軟件,還把它定為 Freeware,免費分享給所有人下載,實在令人非常雀躍!思之有幸能夠訪問到這位既是軟件工程師,又是藝術家的「離心一墨」之父 ─ 黃琮瑜先生。 繼續閱讀

標準

開源應該是一種「合作運動」

cgv24

今期【映CG】雜誌的主題為《開源的逆襲 Blender to the future》,有多篇文章詳細介紹了Blender這個軟件的來龍去脈,Blender團隊的軟件開發策略和營運模式,以及一些用家們的實際案例,更有用家們對開源軟件的未來發展,涵蓋範圍,以至應用前景之見解等等,圖文並茂,甚具參考價值!因為談及到開源軟件,思之就不禁想多介紹其他multimedia相關的一些開源軟件給大家作參考用。 繼續閱讀

標準

A Brief Account on the Contemporary Digital Ink-Wash Animation in Hong Kong – An Aesthetics Endeavor

01_title

A background study on the theme “Digital Chinese Ink-wash Animation: Tradition versus Innovation in Themes, Forms and Techniques” has been conducted back in 2008 for the “20th Society for Animation Studies Annual Conference”. In this essay, the researcher aims to share a follow-up study on how Guohua (國畫), the traditional Chinese ink-painting has evolved through the “New Ink Art movements” (新水墨運動)  which fostered the digital ink-wash animation talents in Hong Kong. On the other hand, this article reveals several contemporary ink-wash animation practitioners and software developers in Hong Kong. 繼續閱讀

標準

Blender 2.80 RC2 的 User Experience分享

相繼只有一星期,Blender 連續推出了兩個 Release Candidate 版本,思之當然不會錯過!就像很多Blender 用家的分享一樣,一旦習慣了它的全新介面和流程,我就完全不想再打開舊版本的 2.79了!身為一個多年的 CG用家,總是覺得一個專業軟件的 User Interface (UI) 設計,相比起該軟件的功能性或實用性 (functionality) 的取捨,兩者應該是同等重要的。 繼續閱讀

標準

荷里活在積極推動和支援著Open Source Software的發展

cgv21

在 osmm.hk 的 fb page 貼文裏介紹了荷里活的 Academy Software Foundation (ASWF) 組織,他們是由主辦「奧斯卡」的 Academy of Motion Picture Arts and SciencesThe Linux Foundation 共同創辦的一個中立和非牟利 Open Source Software (OSS) 平台,致力於籌劃和協調業界裏面相關Open Source technology tools的項目開發,更就這些項目的流程和資訊管理,檔案管理,持續發展,還有 licensing 授權等等營運事宜提供意見,為荷里活的 OSS 長遠發展充當著 collaborator 的角色,也為各個不同製作單位提供了一個開放的討論平台。 繼續閱讀

標準

如何塑造世界動畫產業

cgv19

今年的 Filmart 已經曲終人散,思之當然有捧場以及出席了幾場講座和研討會,很想分享一下其中兩場研討會所討論到的問題。於星期二 (3月19日) 的『新的中外聯盟將如何塑造世界動畫產業?』專題研討會上主持人和講者們主要是探討著「動畫產業」怎樣可以透過中外合作模式來製作更多「國際化」的動畫電影或視頻作品,以創造更大的經濟效益。討論的焦點是圍繞著兩方面,第一是題材和創作,第二方面就是製作團隊的組合和發展。 繼續閱讀

標準