XR 攝影棚乃基於Disney+《曼達洛人》影集中所開創的概念及技術
作者：Jason Dachman，剪輯導演，U.S.
日期：2023年6月26日
自Disney+的《曼達洛人》第一季上映以來，虛擬製作技術一直是媒體和娛樂領域炙手可熱的創新技術。現在，隨著位於康乃狄格州布里斯托爾（Bristol）的ESPN總部推出Catalyst Stage，該技術已成為體育領域的中心技術。作為第一個同時支援多攝影機現場製作和電影級專案的攝影棚，新的沉浸式攝影棚融合了實體和虛擬世界，為攝影棚製作帶來了無限可能。
ESPN攝影棚設計開發總監Joseph Ferretti說“在創意、擴充性、靈活性和創新方面，這確實改變了我們的遊戲規則，我再怎麼強調它的影響都不為過。如果考慮到周轉時間及創意可能性，我認為其靈活性和投資報酬率都是前所未有。使用Catalyst Stage，我們可在同一天製作高階的攝影棚節目，然後進行電影廣告拍攝，第二天早上就可進行特效拍攝、或《體育中心（SportsCenter）》的內容增強。簡而言之，這就是它強大的優勢。”
1千1百萬像素的Catalyst Stage能以1080p或UHD格式製作日常直播、多機位AR及XR製作，也能以4K格式製作電影品質的廣告。由迪士尼及ESPN技術團隊開發的專有軟體支援該攝影棚，包括GRACE（Graphics Real-time Automation and Control Environment - 圖形即時自動化和控制環境）平台。其他關鍵技術包括：Ghostframe、UE（虛幻引擎）、Disguise XR、Pixotope及Mark Roberts Motion Control機器人攝影系統。
發展多年：Catalyst Stage 如何誕生
2021年，ESPN選擇更新布里斯托爾的F攝影棚，這是有史以來第一個HD《體育中心（SportsCenter）》攝影棚。該攝影棚三分之二的空間被改建成美國廣播公司（ABC）大學足球報導的佈景，剩下三分之一的空間則留給新的東西。
Ferretti說“我們開始對虛擬製作進行大量研究，然後我看到Katy Perry（凱蒂佩芮）在《美國偶像（American Idol）》節目中演唱《雛菊（Daisies）》，這深深的吸引了我。我們開始探索，能否在布里斯托爾做類似的事情，很快就有了進展。我們得到了高層的支持，並請來了ESPN及迪士尼的人員，看看我們能在這個領域做些什麼。”
2021年9月，ESPN對LED面板、處理器、攝影機、合成及其他技術，進行了技術評比，最終NEP成為主要整合商。隨後，迪士尼及ESPN的技術、製作和創意團隊開始工作。
迪士尼創意自動化暨攝影棚技術總監Christiaan Cokas說“這確實是我們團隊夢寐以求的專案，時機也很完美。我們覺得技術終於準備好了，尤其是《Ghost Frame》，這讓我們非常興奮。我們可直接面對製作團隊，告訴他們這比綠幕攝影棚（技術）要好得多，因為你可進行即時多機剪輯。我們基本上可提供標準的製作工作流程，同時還能使其適用於電影和商業製作。”
Ferretti認為，Catalyst Stage的推出是虛擬攝影棚技術長期發展的下一步：從2010年約翰尼斯堡世界盃足球賽（2010 FIFA World Cup）上使用深度監視器（Depth Monitor），到2018年在紐約市ESPN海港攝影棚（Seaport Studio）推出Around the Horn虛擬攝影棚。“這只是下一個合乎邏輯的步驟。”
無限的可能性：XR 攝影棚開啟創意之門
有了Catalyst Stage，進入、建造和改變實體環境（實景）的限制就不復存在，過去需要數周或數月才能搭建或改變的複雜佈景，現在只需幾天、甚至幾小時就可完成。製作團隊可將實體空間與虛擬元素融合，在視覺上將演員放置在任何真實或想像的地點 - 從將Catalyst Stage打造成現有攝影棚或體育場、到風景優美的山頂、或外星星球等的數位“孿生”。
Cokas說“我們在製作（佈景）方面有很大的靈活性，從可在UE中構建的全3D沉浸式環境，一直到可快速轉換的特效拍攝。”
Ferretti說，雖然團隊是在虛擬世界中工作，但他的團隊在最初的攝影棚設計過程中，還是秉承了與實體攝影棚相同的理念。團隊與Jack Morton、Kramer及MPKscenic等頂級佈景設計師合作，打造這些身臨其境的環境。
Ferretti說“我們希望在XR舞台上創造新的環境，這些環境在場景設計和佈景元素方面具有典型的感性，並能超越這些感性，因為我們擁有一個完整的虛擬世界，你幾乎可去到任何地方。我們可製作一個完整的大廳、更衣室或訓練設施，這些顯然是我們在攝影棚裡無法實際建造的。”
Catalyst Stage製作團隊能即時切換四台攝影機，同時在牆面與地面之間拍攝四個不同的背景。對於演員來說，環境可被隔離成他們可以直接參與的單一視角。與此同時，導演可同時觀看所有虛擬場景中的攝影機，就像在傳統場景中觀看實體攝影機一樣。
Ferretti說“首先，製作人和導演因為他們專注於講故事。導演坐在副室裡，看到所有攝影機的合成輸出。他們不需要鑽研技術，也無需瞭解引擎蓋下有什麼，他們只需像在實體攝影棚一樣剪輯節目。”
為了在視覺上透過地面上的影子及倒影等元素將藝人與空間融為一體，ESPN與Pixotope合作，在舞台上安裝了一系列使用機器自我學習（Machine-Learning）技術、對人物及動作進行三角測量的攝影機。這些資料被輸入至UE中，讓ESPN能將這些元素製作成由演員手勢觸發的圖形。這些圖形顯示在LED牆上，這樣藝人就可直接看到、並與之互動。
Ferretti說“演員與LED牆上的實況鏡頭進行互動，就像他們在實體攝影棚中與監視器進行互動一樣。由於我們在這個虛擬世界中，擁有舒適的座椅或主持人桌等實體物件，他們感到很舒適，因為他們已經習慣了在實體場景。我們的目標是讓技術不再重要，這樣他們就不必考慮技術問題。他們只要專注於講述故事和創作精彩的內容，由我們來處理他們背後所發生的其他事。”
Megapixel的HELIOS LED Processing Platform（處理平台）驅動LED顯示，Ghostframe是與ROE及AGS合作在HELIOS中實現的功能（Ghostframe是三方擁有的IP的組合）。Catalyst Stage上使用的所有5台攝影機 - 4台Grass Valley LDX 150廣播攝影機，1台ARRI AMIRA Live 35mm攝影機 – 皆透過Mark Roberts Motion Control機器人系統進行操作。
Cokas 說“我們選擇機器人技術，不僅是因為空間有限，還因為其靈活性。舞台前方的深度只有10呎左右。為了解決這個問題，我們決定使用這些機器人。這對我們來說，是一個關鍵因素，因為在那裡安裝攝影機搖臂（Jib）很困難，但我們仍然可拍攝到很多引人注目的創意鏡頭。”
幕後：用 26 台高速運轉的伺服器提供動力，在攝影棚展現 GRACE 的能力
Catalyst Stage有26台即時伺服器在工作，可進行1千1百萬像素的算圖（Render），每秒刷新7千6百次，並使用有史以來用於電視製作上最大、最複雜的Disguise XR系統。伺服器處理資料的速度高達120 Gbps，傳輸資料的速度是傳統伺服器的5倍。ESPN將攝影棚5台機器人攝影機的4K視訊追蹤資料及任何額外的圖形和影像傳送至伺服器，然後將最終的製作結果顯示在LED牆上。
Cokas說“我認為最重要的因素是，我們在日常製作中使用的都是值得信賴的成熟系統。我可以坦白的說，我非常信任此項技術，但這類的（創新）並非都像這樣可以信賴。”
Catalyst Stage有別於類似的XR攝影棚的關鍵因素是，使用了迪士尼的GRACE平台，該平台允許操作者使用及控制虛擬監視器相同的工具，來驅動虛擬3D廣播攝影棚。GRACE將自動化工具與UE結合，可在沒有大量工作人員或專業專家的情況下，快速的對空間進行技術複雜的更改。因此，製作、操作及創意團隊可輕鬆高效率的在多個攝影棚場景中做選擇及切換。
Cokas說“使用GRACE工具組的全部意義，在於讓我們的製作操作者感到舒適，就像他們每天都在做同樣的節目一樣。他們進來後，載入一個場景，這非常簡單。然後他們就可進行燈光控制、道具控制、視訊導入，及其他幾乎所有的例行性操作。”
為了使系統盡可能與傳統攝影棚的操作相似，Cokas及他的團隊與一些超級使用者合作，以獲得他們的回饋並優化介面和控制。
Cokas說“我們試著讓它變得靈活，這樣，無論你在製作流程中的哪個環節，都可獲得所需的工具。這些超級使用者已成為我們的首席講師，他們正在傳播這些知識，這將讓我們能擴展到更多的使用者。我們在改進工具的同時，也讓我們的製作夥伴感到舒適，這樣他們就可放心的講故事和操作了。”
展望未來：可能成為 24 小時無休的多用途空間
Ferretti表示，在短期內，Catalyst Stage將主要用於《體育中心（SportsCenter）》和其他攝影棚節目中的特殊環節。不過，他預設在未來該攝影棚可能會成為每日或每週攝影棚節目的主場。
他補充說“我們的核心目標是，為盡可能多的不同節目提供服務，同時為創意和廣告團隊製作電影級的內容。但我們也很希望能找到適合的日播、或周播節目。我們已經試播了一些節目，但還沒有找到合適的，我們很希望能找到一個我們能在Catalyst Stage完成的節目。”
儘管Catalyst Studio最初是為ESPN而建，但迪士尼表示，該專案的進展將擴展到公司的其他部門。
Cokas說“我認為，將這項（技術）與2000年iPhone問世時相比是公平的，它確實改變了世界，將對製作產生相同的影響。它是製作領域的瑞士小刀，因為它無所不能。現在，它已準備好處理你交給它的任何東西。我們並不是把所有東西都擰在一起，然後就寄予厚望能得到最好的結果。這項技術給人的感覺是，它已為黃金八點檔做好了準備。”