XR延展實境在疫情下急速成長

XR延展實境:Extended reality可以說是目前影音領域最前端的技術之一,當全世界因為covid-19而造成的遠距、封城、social distancing等影響下,為了尋找出路而意外加速了XR的應用,也正好因為來到5G時代,CPU與GPU效能大幅提升、繪圖建模與編程等軟硬整合所需都來到成熟應用面,終於在2020年下半年陸續展現在音樂表演內容上。

今年5月Katy Perry在XR studio製作下、透過Notch技術和disguise的媒體伺服器平台整合、在American Idol上的演出打響了第一炮,精緻細膩的虛實混合,前所未有的沉浸感,加上使用LED讓表演者能精準地展現互動演出,超越過往綠幕的效果,近幾個月陸續在歐、韓、日、泰等地,展現前所未有的新視覺體驗,彷彿病毒疫情加大了人們的距離、卻拉寬了科技的視野。

XR舞台是由LED地屏、與呈現立方體的兩個或三個牆面、加上周圍的燈光設置、追蹤傳動的攝像環境所組成。攝影機記錄下多維數據以及空間中所有內容,並將其追蹤傳動的訊息提供給media server整合,然後從同一個攝影機的視點、再將運算生成的3D場景映射到LED裏。當中會使用像unreal或Unity等遊戲引擎、或是以Notch這類能創建即時互動內容的軟體,直接整合到媒體伺服器上,在功能強大且穩定的工作流程中創建互動式、生成性內容的即時視覺效果。目前的發展已經到了高度的多功通用性,可對即時編輯進行微調、或與其他技術無縫接軌整合,重新定義視覺體驗的可能性。

近幾個月裡,泰國團隊H.U.I.和樂團Klear、女歌手INK做的線上直播演出,青少年版歐洲電視歌唱大賽開幕由Vicki Gabot所做的演唱,12月初MAMA頒獎典禮韓團Twice與Mamamoo的表演,還有Billie Eilish、BTS等藝人的線上演唱會都使用了XR技術。

更重要的是,透過XR能配合體感互動做出更多效果與內容,好比人體可對虛擬物件做搬移、甚至可以同步異地將另一處的人物傳送到XR stage上、創造「異地同框」的視覺效果、而且可以對話、就像在同一個空間中,所以未來商展、策展,可以讓來賓不是透過視訊的母子畫面連線,而是真正共處在studio裡的畫面播送,這也同樣可以用於教育現場或會議進行,用於影視音樂表演則是能夠創造更多視角與分層設計的新美學,在Chroma key綠幕、AR、VR、到4D view,搭配期間從動態捕捉到容積補捉技術一路下來,隨著運算技術與編程技術的效能飛快提升,原本科幻電影的想像內容陸續成真、遊戲裡的內容也逐漸擬真到實境中,XR延展實境的擴充會不會到像是電影「一級玩家」那樣,著實充滿了趣味與想像。

 

 

2021-01-04 00:33 聯合報 / 袁永興(樂評人)