日期：2022年10月26日
作者：Ben Davenport（Pixotope）
虛擬製作正在蓬勃發展，這是有原因的。越來越多電影製作人、廣電公司及幾乎所有想用即時虛擬內容創造沉浸式體驗的人，都在使用它。透過將虛擬世界的靈活性與在製作過程中即能視覺化看到製作內容的能力結合，電影公司獲得了實現及完善其願景的新可能性。
虛擬製作非常依賴即時攝影機追蹤（Real-Time Camera Tracking），它能讓實拍的鏡頭與虛擬攝影機同步，進而讓3D資料與實拍鏡頭無縫整合。
在虛擬製作中，有許多方法可創造出演員可與之互動的虛擬環境。例如：
擴增實境（AR - Augmented Reality）：在真實世界環境中即時疊加虛擬物件。
虛擬攝影棚（綠幕）：允許真實物體及真實人物（演員）與電腦生成的環境及物件進行即時無縫互動。
延展實境（XR - Extended Reality）：使用大型LED牆來創造虛擬環境，讓現實生活中的演員能與之互動。
無論你為你的虛擬製作專案選擇哪種方法，高品質的攝影機追蹤是你不可或缺的工具。除此之外，隨著電腦的處理能力及軟體能力的提高，攝影機追蹤已變得更經濟實惠且容易實現。
那麼，什麼是攝影機追蹤，你如何在你的下一個專案中使用它？好吧，這裡有一些選擇的細分。
機械式 vs. 光學式影機追蹤
首先要注意的是，攝影機追蹤系統可分為兩類：機械式（Mechanical）及光學式（Optical）。
由於機械式追蹤系統在現場直播AR中的長期使用，它仍被視為是可靠的，是許多體育和現場活動的支柱，尤其是在較大型的場館。
透過放置在攝影機支架上的感測器（Sensor），機械式系統提供精確的攝影機運動資料：包括其位置和方位，而來自攝影機本身的額外資訊，同時提供了詳細的鏡頭參數。這就確保了在攝影機的每一次運動中，虛擬物體都能成為真實環境的一部分，反之亦然。
由於機械式追蹤感測器的性質，你可在無法使用光學式追蹤的情況下，使用這些系統。在你無法放置標記的地方、或在可識別的自然標記很少的地方（詳見下文），機械式系統是理想的選擇，例如：高爾夫中的推杆果嶺，它完全是綠色的。
然而，機械式系統可能需要大量的設置時間，且需要定期重新調整（Realignment）。除此之外，攝影機設備還必須有一個固定的原點，從那裡方可參考機械的運動，限制了其靈活性。
另一方面，光學式攝影機追蹤系統可為攝影機的移動提供更大的自由。使用光學式追蹤的攝影機可自由移動，你甚至可使用攝影機穩定架（Steadicam）。
由於追蹤感測器通常指向上方或下方，而不是進入場景，因此不受攝影棚條件的影響，如：燈光配置、反射和一般綠幕等。設置也相對快速和簡單。而光學式系統則有幾種不同的類型。
基於標記的攝影機追蹤
正如你可能猜想得到的，基於標記（Marker）的系統仰賴放置在場景周圍或至少在感測器視野中的標記。它們被當作參考點來計算攝影機的確切的位置和方位。
標記可採取幾種不同的形式，一種形式是預先校準的編碼地板（Pre-Calibrated Coded Floor），其中“絕對”標記保持在同一位置。由於標記已在鋪設的地板上就定位，不需要校準，所以設置起來快又簡單。
使用絕對視覺標記，可確保清晰和絕對的參考、快速初始化及無干擾的追蹤。與無標記系統、或具“隨機（Random）”而非絕對標記的系統相比，它們需要花費的力氣也小得多，因此比其他選擇更實惠。預先校準的標記地板，可在室內和室外使用，因此它的用途非常廣泛，也是一種以較低預算踏入虛擬製作的方式。
另外，你可結合絕對標記及精心放置的相對標記，在相同的攝影機和感測器設置下，精準的確定攝影機的位置。
為應對較低或多變的照明條件，紅外逆反射標記（Infrared Retroreflective Marker）將紅外燈的紅外線（IR）反射至感測器上，確保感測器不受較低或多變光線的影響，同時不為人眼和主攝影機所見。
設置也很簡單，你只需安裝標記並進行簡單的自我校準過程。然而，由於需要單獨放置標記，最好將這種方法用於基於攝影棚的製作。
無標記攝影機追蹤
無標記攝影機追蹤系統（Markerless Camera Tracking System）則使用自然環境中的真實特徵（Feature），而不是人工標記，這使其具有更大的靈活性。利用攝影機上的感測器，即時捕捉和分析場景，生成3D特徵點，然後用來代替人工標記。一旦生成了3D點，一個自動追蹤演算法就會計算出攝影機的位置及參數。
無標記系統給你創造的自由，因為你可不受限制的移動攝影機，在戶外或大型室內空間使用時更實用。
在某些情況下，無標記攝影機追蹤技術也可“透過鏡頭（TTL - Through The Lens）”使用，而不需要感測器。在這種情況下，追蹤使用攝影機的視訊串流（Video Stream）來即時確定攝影機在三度空間的位置。這對於如：無人機、纜繩攝影機（Wire Cam）、及行動攝影機（Action Camera）等應用來說非常強大，因為在這些應用中添加感測器和/或標記是不切實際的。
使用 LED 牆時的追蹤
使用大型“環繞式”和多平面（地板/天花板）的虛擬製作所面臨的挑戰之一是，用於追蹤的自然參考點（Reference Point）非常少，也沒有任何地方可放置標記物。在這種情況下，我們需要一個不同的解決方案。
隨著現代LED牆的高更新率（Refresh Rate），其追蹤的解決方案之一是將追蹤標記“隱藏”在LED牆本身。透過使用絕對的標記圖案，並在攝影機所拍攝的影格之間，顯示於LED牆上，如此便可進行高度準確和可靠的光學式追蹤。我們還可更進一步，同時顯示追蹤標記的負片（Negative），這意味著人眼看不到這些圖案，因此不會分散現場演員的注意力。
無論你選擇哪種方法，攝影機追蹤是虛擬製作工作流程中不可或缺的一部分。隨著虛擬製作不斷普及，成為創建內容的一種方法，必須有合適的工具來滿足每個製作的需要。
關於 Ben Davenport（Pixotope）
本是一名企業對企業（B2B）行銷人員，對於媒體與娛樂行業的技術有著濃厚的興趣和瞭解。在過去的二十年裡，Ben在業界一些最複雜、最先進以檔案為基礎的媒體解決方案和專案中，發揮了關鍵作用，同時讓領先的媒體與娛樂技術供應商的品牌和產品與眾不同。本曾負責Arvato Systems公司旗下品牌Vidispine的投資組合及行銷戰略，最近加入Pixotope，擔任全球行銷副總裁。本擁有英國倫敦薩里大學的音樂和錄音（Tonmeister）學士學位。