XR 攝影棚乃基於Disney+《曼達洛人》影集中所開創的概念及技術
作者：Jason Dachman，剪輯導演，U.S.
日期：2023年6月26日
自Disney+的《曼達洛人》第一季上映以來，虛擬製作技術一直是媒體和娛樂領域炙手可熱的創新技術。現在，隨著位於康乃狄格州布里斯托爾（Bristol）的ESPN總部推出Catalyst Stage，該技術已成為體育領域的中心技術。作為第一個同時支援多攝影機現場製作和電影級專案的攝影棚，新的沉浸式攝影棚融合了實體和虛擬世界，為攝影棚製作帶來了無限可能。
ESPN攝影棚設計開發總監Joseph Ferretti說“在創意、擴充性、靈活性和創新方面，這確實改變了我們的遊戲規則，我再怎麼強調它的影響都不為過。如果考慮到周轉時間及創意可能性，我認為其靈活性和投資報酬率都是前所未有。使用Catalyst Stage，我們可在同一天製作高階的攝影棚節目，然後進行電影廣告拍攝，第二天早上就可進行特效拍攝、或《體育中心（SportsCenter）》的內容增強。簡而言之，這就是它強大的優勢。”
1千1百萬像素的Catalyst Stage能以1080p或UHD格式製作日常直播、多機位AR及XR製作，也能以4K格式製作電影品質的廣告。由迪士尼及ESPN技術團隊開發的專有軟體支援該攝影棚，包括GRACE（Graphics Real-time Automation and Control Environment - 圖形即時自動化和控制環境）平台。其他關鍵技術包括：Ghostframe、UE（虛幻引擎）、Disguise XR、Pixotope及Mark Roberts Motion Control機器人攝影系統。
發展多年：Catalyst Stage 如何誕生
2021年，ESPN選擇更新布里斯托爾的F攝影棚，這是有史以來第一個HD《體育中心（SportsCenter）》攝影棚。該攝影棚三分之二的空間被改建成美國廣播公司（ABC）大學足球報導的佈景，剩下三分之一的空間則留給新的東西。
Ferretti說“我們開始對虛擬製作進行大量研究，然後我看到Katy Perry（凱蒂佩芮）在《美國偶像（American Idol）》節目中演唱《雛菊（Daisies）》，這深深的吸引了我。我們開始探索，能否在布里斯托爾做類似的事情，很快就有了進展。我們得到了高層的支持，並請來了ESPN及迪士尼的人員，看看我們能在這個領域做些什麼。”
2021年9月，ESPN對LED面板、處理器、攝影機、合成及其他技術，進行了技術評比，最終NEP成為主要整合商。隨後，迪士尼及ESPN的技術、製作和創意團隊開始工作。
迪士尼創意自動化暨攝影棚技術總監Christiaan Cokas說“這確實是我們團隊夢寐以求的專案，時機也很完美。我們覺得技術終於準備好了，尤其是《Ghost Frame》，這讓我們非常興奮。我們可直接面對製作團隊，告訴他們這比綠幕攝影棚（技術）要好得多，因為你可進行即時多機剪輯。我們基本上可提供標準的製作工作流程，同時還能使其適用於電影和商業製作。”
Ferretti認為，Catalyst Stage的推出是虛擬攝影棚技術長期發展的下一步：從2010年約翰尼斯堡世界盃足球賽（2010 FIFA World Cup）上使用深度監視器（Depth Monitor），到2018年在紐約市ESPN海港攝影棚（Seaport Studio）推出Around the Horn虛擬攝影棚。“這只是下一個合乎邏輯的步驟。”
無限的可能性：XR 攝影棚開啟創意之門
有了Catalyst Stage，進入、建造和改變實體環境（實景）的限制就不復存在，過去需要數周或數月才能搭建或改變的複雜佈景，現在只需幾天、甚至幾小時就可完成。製作團隊可將實體空間與虛擬元素融合，在視覺上將演員放置在任何真實或想像的地點 - 從將Catalyst Stage打造成現有攝影棚或體育場、到風景優美的山頂、或外星星球等的數位“孿生”。
Cokas說“我們在製作（佈景）方面有很大的靈活性，從可在UE中構建的全3D沉浸式環境，一直到可快速轉換的特效拍攝。”
Ferretti說，雖然團隊是在虛擬世界中工作，但他的團隊在最初的攝影棚設計過程中，還是秉承了與實體攝影棚相同的理念。團隊與Jack Morton、Kramer及MPKscenic等頂級佈景設計師合作，打造這些身臨其境的環境。
Ferretti說“我們希望在XR舞台上創造新的環境，這些環境在場景設計和佈景元素方面具有典型的感性，並能超越這些感性，因為我們擁有一個完整的虛擬世界，你幾乎可去到任何地方。我們可製作一個完整的大廳、更衣室或訓練設施，這些顯然是我們在攝影棚裡無法實際建造的。”
Catalyst Stage製作團隊能即時切換四台攝影機，同時在牆面與地面之間拍攝四個不同的背景。對於演員來說，環境可被隔離成他們可以直接參與的單一視角。與此同時，導演可同時觀看所有虛擬場景中的攝影機，就像在傳統場景中觀看實體攝影機一樣。
Ferretti說“首先，製作人和導演因為他們專注於講故事。導演坐在副室裡，看到所有攝影機的合成輸出。他們不需要鑽研技術，也無需瞭解引擎蓋下有什麼，他們只需像在實體攝影棚一樣剪輯節目。”
為了在視覺上透過地面上的影子及倒影等元素將藝人與空間融為一體，ESPN與Pixotope合作，在舞台上安裝了一系列使用機器自我學習（Machine-Learning）技術、對人物及動作進行三角測量的攝影機。這些資料被輸入至UE中，讓ESPN能將這些元素製作成由演員手勢觸發的圖形。這些圖形顯示在LED牆上，這樣藝人就可直接看到、並與之互動。
Ferretti說“演員與LED牆上的實況鏡頭進行互動，就像他們在實體攝影棚中與監視器進行互動一樣。由於我們在這個虛擬世界中，擁有舒適的座椅或主持人桌等實體物件，他們感到很舒適，因為他們已經習慣了在實體場景。我們的目標是讓技術不再重要，這樣他們就不必考慮技術問題。他們只要專注於講述故事和創作精彩的內容，由我們來處理他們背後所發生的其他事。”
Megapixel的HELIOS LED Processing Platform（處理平台）驅動LED顯示，Ghostframe是與ROE及AGS合作在HELIOS中實現的功能（Ghostframe是三方擁有的IP的組合）。Catalyst Stage上使用的所有5台攝影機 - 4台Grass Valley LDX 150廣播攝影機，1台ARRI AMIRA Live 35mm攝影機 – 皆透過Mark Roberts Motion Control機器人系統進行操作。
Cokas 說“我們選擇機器人技術，不僅是因為空間有限，還因為其靈活性。舞台前方的深度只有10呎左右。為了解決這個問題，我們決定使用這些機器人。這對我們來說，是一個關鍵因素，因為在那裡安裝攝影機搖臂（Jib）很困難，但我們仍然可拍攝到很多引人注目的創意鏡頭。”
