作者:MIKE SEYMOUR
日期:2019年2月24日
2015年7月我們在FMX寫了一篇關於基於歐盟的DreamSpace專案的文,此專案目的在於重新定義傳統的工作流程,讓它更適切的反應現代非線性(Non-Linear)/非瀑布式(Non-Waterfall)的製作模式。那是fxguide第一次訪問Ncam的執行長Nic Hatch。
四年前,Ncam的優勢似乎主要在於其即時追蹤(Real Time Tracking)的能力, 雖然Ncam的人員向我們展示了許多關於他們的深度合成(Depth Compositing)的能力,但我們承認,我們選擇了將焦點放在Ncam的即時空間追蹤。畢竟在那個時候,想要為站在車道內面或外外的人去背,似乎並非複雜到需要一個解決方案。將綠幕前表演的演員去背,然後合成至另一個場景中,這似乎是特效公司每天都在進行、在解決的事,為什麼後期製作公司會需要深度合成、用Ncam特殊攝影機裝置、將影片圖層(Video Layer)放在某物件的後面呢?幸運的,Nic Hatch對於即時遊戲引擎用於片場拍攝此一即將來臨的時代,能比我們看得更深遠!
將實拍的動作在後期進行結合,並非是殺手級的應用。而在片場拍攝並即時進行製作,差不多也是相同的應用。但Ncam能讓演員準確且穩定的在圖形(Graphic)周圍走動,或穿越虛擬場景(Virtual Set),這可用於實況播出,或許多其他即時的應用。Ncam只需例如:UE4等即時遊戲引擎,提供此新的虛擬製作(Virtual Production - VP)方法所需的視覺品質。
將已去背的實拍畫面置入複雜的場景,需要關於攝影機的正確位置、鏡頭資料、及場景深度圖(Depth Map)等詳細的資訊,特別是Ncam能讓攝影機完全的自由,不像以前需倚靠Motion Control的其他解決方案,Ncam可採取手持攝影機拍攝,甚至即使有遮蔽物都沒有關係。
Ncam提供了完整且可客製的即時虛擬場景與圖形的平台,其核心是他們獨特的攝影機追蹤解決方案,使用特殊的攝影機硬體配件及複雜的軟體,提供了VR及AR圖形技術。此系統使用重量輕的感應元件棒(Sensor Bar),安裝在攝影機上,追蹤環境中的自然特徵點(Natural Feature),讓攝影機在所有的位置自由移動,並產生非常準確的位置、旋轉、及鏡頭資料等連續串流資訊,透過Ncam的SDK(開發者套件)將資訊傳送至如:UE4等即時引擎。
此系統可用於各種類型的製作,從室內到室外都可使用,可安裝在Cable Cam,或手持拍攝。Ncam的產品已在全世界使用,且用於“星際大戰外傳:韓索羅(Solo: A Star Wars Story - Walt Disney Studios)”、“死侍2(Deadpool 2 – Marvel)”、“歐洲足球冠軍聯賽(UEFA Champions League - BT Sport)”、“美式橄欖球冠軍賽(NFC Championship Game - Fox Sports)”、“權力遊戲第8季(Game of Thrones Season 8 – HBO)”、“週一足球夜(Monday Night Football – ESPN)”、“超級盃(Super Bowl - Fox Sports)”、及“復仇者聯盟2:奧創紀元(Avengers: Age of Ultron – Marvel)”等電影和運動賽事的製作。
在其核心,Ncam依靠在攝影機上安裝一個特殊硬體,此小巧質輕的感應元件棒,結合了一套感光元件。外觀上最明顯的,是兩個小小的立體電腦視覺攝影機(Computer Vision Camera),而在Ncam硬體棒裡面,則有12個不是那麼明顯的額外感光元件。其他還有像是:加速器(Accelerometer)及陀螺儀(Gyroscope)等,與其立體攝影機搭配,讓Ncam能完全瞭解場景的深度,產生即時虛擬點雲(Real Time Virtual Point Cloud)資料。此硬體也與鏡頭上的各種控制器,如:Preston追焦器等相互作用,意味著Ncam知道鏡頭的位置、朝哪個方向、焦點在哪裡、視角(Field of View)為何等,更重要的是,知道鏡頭前所有物體的位置在哪。道具、場景、演員、攝影機及鏡頭,全都即時的對應f且知悉。這對於虛擬製作(VP)來說是個關鍵,而此資料可提供給傳統的工作流程,製作高階的視覺特效(Visual Effect)。此時,資料檔尚未內嵌,它是以第二階元數據串流(Secondary Meta Data Stream)的方式提供。
預測運動
所謂“同步定位與地圖構建(SLAM - Simultaneous Localization and Mapping)”是在建構或更新未知環境地圖的同時,並追蹤位於環境中媒介物(Agent)位置的計算問題。這顯然是個“雞生蛋、蛋生雞”的問題,因為如果知道建構的地圖是什麼,追蹤起來就比較容易,而你又需要建構地圖以便幫助追蹤。SLAM永遠都是使用幾種不同類型的感應元件尋找解決之道。
Ncam剛開始仰賴SLAM技術,解決攝影機追蹤的問題,然而Ncam不僅只是收集資料,同時也提供了具洞察力的資訊,軟體使用此資料進行預測運動(Predictive Movement)並有健全的正確性判斷(Redundancy)。它知道攝影機位於何處,且判斷攝影機將往何處去,軟體處理攝影機任何遺失的有效訊號。如果演員遮擋了一個立體鏡頭、或即使遮擋了兩個,系統仍將根據剩餘的感應元件的匯總資料,不中斷繼續作業。軟體將所有的資料整合成一個有用的輸入,例如:雖然電腦視覺攝影機最高可達120 fps,而其他的感應元件為250 fps,因此所有的這些資料都重新定時(Retime)並標準化(Normalize)成一個標準、穩定的輸出,而此輸出與主攝影機的時碼(Timecode)同步。
有些場景的燈光非常有挑戰性,對於有頻閃或閃爍燈光的場景,Ncam則提供了以紅外線(Infrared)模式操作攝影機的選擇項,系統的設計亦擁有低延遲(Low Latency),因此攝影機操作員可看到現場實拍與UE4圖形合成在一起的輸出結果,以便更精確的構圖及運鏡。如果在拍攝時可看到整個場景樣貌、而不只是一個穿著盔甲站在綠幕前的騎士,那麼CG的龍與武士演員的對位就容易多了。
鏡頭校正(Lens calibration)
攝影機追蹤解決了6個向度的自由度:XYZ位置及3個向度的旋轉,另外還加上製作攝影機的鏡頭資料,除了Zoom及Focus之外,Ncam必須知道鏡頭所有Zoom、Focus、及Iris的曲率(Lens Curvature)或鏡頭的變形(Lens Distortion),為UE4的圖形進行調整,以便將實拍畫面與圖形完美結合。任何廣角鏡顯然都會讓影像彎曲、產生彎曲的線條,而這些線條在真實世界是直線。所有即時的圖形必須一格一格的與之匹配(Match),因此鏡頭屬性的對應是以鏡頭序號為基礎。每一顆鏡頭都不同,雖然可使用樣版:例如:Cooke 32mm S4/i鏡頭開始進行拍攝製作。但因每一個鏡頭都不同,因此Ncam提供了校正所需的圖表及工具。Ncam與例如:Arri的Lens Data System(LDS)系統相容,但這些系統通常並非在其整個光學範圍內都會讓影像變形。在任何專案開始之前,劇組人員可使用Ncam的屬性系統的圖表及工具,校正自己的鏡頭,以對應鏡頭的變形,及調整他們的鏡頭,然後以鏡頭序號為依據進行記錄。
最後,系統產生了穩定平順、精確的資訊,可將即時圖形與實拍素材完美的搭配在一起。Ncam創建者Nic Hatch解釋說 “我們花了很多時間,將所有不同感應元件的各種技術融合在一起,我想這是我們的秘密醬料之一,也是為什麼它能如此有效的原因。”
深度認知
對於深度的認知(Depth Understanding)是Ncam另一個很大的優勢。當物件在UE4中結合時,引擎知道實拍畫面相對於UE4攝影機的位置在哪裡,這讓被拍攝的演員(你也可手持拍攝)能在UE4圖形的前面、後面走動。如果沒有深度的資料,實拍畫面在UE4裡就會像是一張扁平的圖卡、就跟投影機的布幕沒什麼兩樣。有了Ncam,當演員在場景中向前走時,他們也真的在UE4向前走,以完全正確的距離經過物件。這為製作添加了巨大的價值,並以非常逼真可信的方式,將實拍與即時圖形結合在一起。此一功能完全的改變了Ncam在電影、新聞播報、及敘事性節目上的應用。