stYpe 虛擬製作先進技術展示 - IBC Amsterdam 2024
- fuh911
- 2024年12月16日
- 讀畢需時 8 分鐘
已更新：5月26日
stYpe在IBC 2024的展示現場，介紹了一些新產品、經典產品的一些改進，及最新的虛擬製作技術，請觀看下面的中文字幕影片：
stYpe 在展場談論了下列的主題：
全世界最好的攝影機追蹤系統 – RedSpy
RedSpy是全世界最受歡迎，最值得信賴的攝影機追蹤系統。它用於現場廣播、電影及其他類型的虛擬製作。RedSpy的追蹤既精準、又可靠。透過一個有虛擬圓錐的場景，進行很極端的追蹤測試：將虛擬的圓錐放置在地板上真實的十字上，當攝影機移動時，圓錐牢牢的固定在十字上，這是在RedSpy的幫助下得以做到，因為它會追蹤攝影機的位置。如果攝影機追蹤關閉，當攝影機繼續移動時，電腦圖形將維持在螢幕上相同的位置，而顯得漂浮不定，因為電腦沒有任何關於圖形該如何移動的資訊，因此不知道要將圓錐放在地上的十字上。透過攝影機追蹤，虛擬的圓錐就可以完美、逼真的固定在我們想要的位置（十字上）。
結合了MoCap系統與攝影機追蹤 - Follower
StYpe的虛擬製作可從虛擬的運鏡，轉換成具追蹤的攝影機運鏡，當然也可以在場景中加入一些虛擬物件。透過結合幾種不同的技術：攝影機追蹤、人物追蹤及物件追蹤。當主持人移動手上的平板時，美國地圖跟著一起移動；按下按鍵，地圖會轉換到地板上等。有了這類功能的組合，就可自由的以非常獨特及有創意的方式講述故事。主持人的位置被追蹤、平板電腦被追蹤，並由算圖引擎將它們結合在一起，產生螢幕上的最終合成畫面。
透過導入主持人與實際場景，及她周圍虛擬物件的互動，可將虛擬製作提升至更高的層次。例如：同時追蹤筆及攝影機，讓主持人在空中作畫等，可創造出非常迷人的視覺效果。這些互動都是透過stYpe另一旗艦產品：Follower物件追蹤系統。此系統與RedSpy有些不同，因為它用的是由外而內的方式追蹤物件。透過多台Follower Witness攝影機拍攝著一個空間，而主持人手持小型無線追蹤點（Beacon）發射紅外線，這就是追蹤主持人位置的方法，用來空中作畫的筆裡面面，也有類似的追蹤點，在平板上同樣的也有好幾個。這些小小的LED閃爍獨特的二進位圖案，Witness攝影機可以看到這些圖案，因此可以追蹤不同的物件、人物及攝影機。也可用相同的系統 來追蹤攝影機，攝影機追蹤模組稱為Spyder，因為它很像蜘蛛。它有幾個追蹤點連接至攝影機上，透過Spyder上的追蹤點來追蹤攝影機。
Follower是一套完整的系統，可以追蹤任何你想要的東西：人物、物件、攝影機等。但有時你的要求並沒有那麼大，也許只是想追蹤表演者，在此情況下，可使用更經濟、更簡單的最新解決方案：AI Glue。它使用AI人工智慧來追蹤表，表演者在場景中走來走去時，可追蹤她腳底的聚光燈光束，而表演者的位置現在也正被追蹤。AI Glue只使用兩台攝影機，並使用真實影像，無需佩戴標記，也無需在口袋放追蹤點，可用非常簡單的方式，就可取得表演者的位置。
能自動瞄準的半自動攝影機搖臂 – StypeKit
StypeKit是業界標準攝影機搖臂的附加元件，最常見的是安裝在Jimmy Jib搖臂上。而stYpe也有自己的搖臂：HumanCrane。StypeKit讓純手動的搖臂瞬間升級為半自動搖臂。此系統也可提供攝影機追蹤的資料。如果你需要在很大的音樂廳或會場追蹤攝影機，且使用RedSpy的標記也不實際，因為RedSpy需要逆向反射標記，那就可使用HumanCrane搖臂，它是機械式追蹤系統，且是一個完全獨立的系統，不需要任何外部的標記或Witness攝影機，來提供攝影機追蹤資料。但這並不是Stypekit唯一的功能，它還可以讓你更順暢、更漂亮的進行運鏡。當移動搖臂時，讓鏡頭牢牢的對準你想要的標的。通常操作搖臂時，在搖臂最後面、放置配重那裡，會有一個操作者控制搖臂，握住兩個握把：一個是攝影機的搖桿；另一個是控制變焦和焦距。對於搖臂的操作員而言，需多年的經驗才能拍出憑順、漂亮的運鏡效果，但永遠也不可能拍得像StypeKit這麼完美。這套系統既能提供超順暢的拍攝，也能提供AR圖形。
所有 AR、VR 及 XR 的 stYpe 算圖解決方案 – StypeLand
StypeLand是原生的Vanilla虛擬引擎外掛程式，意味著，無需客製的Unreal版本就可使用它，可以下載stYpe的外掛程式，並將它新增至現有的專案就可立即開始使用。它提供了三種主要的工作流程，AR：在真實的場景前加上一些AR物件；VR：典型的綠幕場景，其中有一些虛擬環境及一些前景物件；XR：LED牆建的場景然後用場景延伸進行延伸。StypeLand AR代表使用真實攝影棚的應用，只是在其中加入了一些AR物件，例如：圓餅圖表之類的物件。它還具有陰影、反射及折射等功能，一張簡單的AR圖卡是折射的好範例，從虛擬物件施作於實體物件或人物的身上，它也會在實體場景中產生陰影。是一種非常酷的效果，stYpe在Coachella音樂節上使用此功能，在該節目中獲得非常酷炫的效果。在StypeLand AR之上，即時的GreenKiller讓你進入VR工作流，換句話說，就是進入虛擬攝影棚。GreenKiller是stYpe最先進的色度去背（Chroma Keyer），使用GreenKiller可非常容易的抽出陰影，並抽出細節，例如：頭髮的細節；穿過透明的物件進行去背等。
GreenKiller是市面上你所能找到世界上最先進的 即時色度去背，經由與其他色度去背軟體比較，證明了這一點。它只是選一個顏色、然後為整個攝影棚去背
的典型色度去背不同。GreenKiller使用類似3D掃描器的東西，有環景的3D模型，用攝影棚的攝影機作為3D掃描器，掃描場景的哪個部分會出現哪種綠色，如此一來，就不用擔心場景的燈光是否均勻，就可以愛怎麼打燈、就怎麼打，系統會知道場景中的某些部分是否比較暗，但無所謂，系統知道在那個部分只是比較深的綠、它知道那不是陰影。只有當你透過攝影機獲得較暗的陰影時，系統會判斷那是陰影。甚至可改變燈光，即時的再次掃描場景，而所有事物皆仍舊維持在去背的狀態。雖然GreenKiller的去背能力非常強，還有一些其它新功能，例如：虛擬的反射系統。它可以在場景中虛擬物件的亮面上，反射出實體物件。
除此之外，另外還有stYpe稱之為Image Based Lighting（基於影像的燈光）的功能。當開啟Image Based Lighting功能時，StypeLand會從場景本身的顏色取樣，並透過DMX將資訊傳到實體燈光，以便產生與表演者身上顏色完全匹配的燈光，讓表演者看起來完全沉浸於環境中 ，如同他就真的身處於場景中。
虛擬製作工作流程管理 – Stype CENTRAL
stYpe過去一年持續的努力研發軟、硬體解決方案，而StypeCentral是圖形製作工作流程的解決方案。利用現代的網路技術，只需透過網頁瀏覽器即可存取，可在整個機構 輕鬆進行設定及部署。它是端對端解決方案，可插拔的系統元件提供靈活且可擴充的架構，同時將維護的需求 降至最低。自從4月在NAB推出StypeCentral以來，又添加了許多新功能和工具。總而言之，不論是現場演出或預先錄製，StypeCentral提供了以播放清單為基礎、樣板驅動的圖形及流程控制的攝影棚內製作。StypeCentral真正的威力，來自於它支援業界標準MOS通訊協定，可讓你的圖形播出與現有的新聞工作流程無縫整合。StypeCentral可與你喜歡的新聞控制系統，例如：Octopus或Avid iNews連接及溝通。因此，基於樣板的圖形可輕鬆的創建、編輯及傳送，讓使用者、記者和編輯存取及使用其製作的圖形，就在熟悉的新聞編輯系統環境中。從最初的設計到播出，StypeCentral協助你管理資源，為工作流程提供簡單、但功能強大的工具。
XR LED牆立體色彩校正 – XR ANGLE CALIBRATION
StypeLand還能做到什麼？就是所謂的StypeLand XR，StypeLand XR基本上用於虛擬製作用到LED牆的時候，其受歡迎的程度持續不斷上升，有幾個原因。首先，表演者可實際看到他們所處的場景，更重要的是，自然光以該有的方式直接照射在表演者身上，無需導入任何虛擬物件。但話說回來，必須克服幾個重大的挑戰，當然，StypeLand能克服這些挑戰。首先是當攝影機以不同角度觀看LED面板時所發生的色彩偏移（Color Shift），另外就是虛實與真實世界間的色彩偏移，需要在延遲及色彩上進行匹配。多攝影機工作流程似乎也是個大問題，有多台攝影機從不同角度拍攝出現在LED牆上的影像。當關閉場景延伸時，可清楚看到實景結束、虛擬開始的位置，完全揭露了一個漂亮大型攝影棚的錯覺。打開場景延伸時，就能擁有一個巨大的攝影棚。StypeLand能完美處理攝影棚的接縫問題，StypeLand XR的色彩校正功能，則解決了攝影機因拍攝角度不同而產生顏色上的差異。當虛擬加入至場景延伸時，必須讓色彩能夠匹配，色彩校正，攝影機可進行各種的運鏡。
關於多攝影機的工作流程，有兩種方式，第一個方式很簡單，可使用StypeLand XR主動切換，來回的切換拍攝中的攝影機，從一台切換至另外一台，並讓LED牆顯示攝影機所看到的畫面，這是最簡單的方式。如果想要多台攝影機同時看著LED牆怎麼辦？對此，需要實體LED牆的協助，需要支援稱為Sub-Framing的功能，而StypeLand XR有此功能。當眼睛看見實體LED牆時，會同時看到兩個影像，但如果攝影機的影像，在切換攝影機的時候，每台攝影機只能看到一個影像，有了Sub-Framing就可做到這一點。基本上，影像每秒會閃爍60次，而攝影機的設定正是要拍攝這部分，而其他攝影機也進行同樣的事，但它會偏移一格，它們只是透過快門，互相閃爍一格影像。有了這個功能，就可以隨時主動的從一台攝影機、同時切換至另一台攝影機。
令人振奮的新研發 – AI Glue
它增加了一個新功能 - 骨架追蹤系統（Skeleton Tracking System），透過骨架追蹤系統，可追蹤表演者的手勢，甚至將整個控制對應至他們的身體， 讓虛擬人物跟隨著表演者的動作一起舞動。
堅達公司為 stYpe 虛擬製作相關軟硬體產品總代理，擁有大型虛擬製作攝影棚，擁有業界最專業、最頂級、最完整的設備，且具有豐富的虛擬製作經驗，亦有 LED Wall 等相關專業產品，歡迎來電瞭解詳情，洽談虛擬製作合作事宜，TEL：02-7720-9899。
https://getop.tv/13z16a
留言