來源：速途元宇宙研究院
近日,，速途元宇宙研究院召開“共話元宇宙XR視界”主題沙龍，旨在對當下活躍的AR/VR市場進行解析及探索,，XR將在元宇宙熱潮下釋放新生命力,，而年輕用戶群體對于消費級VR、AR終端,、游戲,、直播的喜愛也孕育出新的消費藍海領(lǐng)域，此次“共話元宇宙XR視界”沙龍也標志未來元宇宙領(lǐng)域依然有著無盡的挖掘空間,。
本次沙龍我們邀請到花房集團VP 技術(shù)委員會主席唐賡先生,，花房集團作為當下在線社交娛樂領(lǐng)域的領(lǐng)頭企業(yè)，唐賡先生的出席讓眾多與會業(yè)內(nèi)進行了更深入的思考,。在沙龍中,，唐賡先生對AR/VR技術(shù)在直播中的應(yīng)用與挑戰(zhàn)進行了解讀，揭開了“元宇宙+直播”模式的全新方向,。
唐賡先生簡介：
花房集團VP 技術(shù)委員會主席,，擁有22年從業(yè)經(jīng)驗，在操作系統(tǒng)/嵌入式系統(tǒng),、系統(tǒng)架構(gòu),、企業(yè)級網(wǎng)絡(luò)安全、音視頻編解碼,、云計算/云原生架構(gòu),、AI/AR/VR、元宇宙等等技術(shù)領(lǐng)域有多年實踐經(jīng)驗,，擁有多項技術(shù)發(fā)明專利,。曾在雅虎中國、阿里巴巴任職多年,，也是原摩比神奇公司創(chuàng)始人/總經(jīng)理,、曾任360技術(shù)委員會委員。工業(yè)自動化控制專業(yè)學(xué)士,，工商管理學(xué)博士,。
AR/VR技術(shù)
在直播中的應(yīng)用與挑戰(zhàn)
當下，在元宇宙相關(guān)產(chǎn)業(yè)中,，AR/VR 無疑是最受關(guān)注的賽道,。AR技術(shù)是使用附加數(shù)據(jù)注釋現(xiàn)實世界場景的最佳方式,，隨著智能手機提高其深度感應(yīng)和處理能力，移動設(shè)備上的AR運用成為重要的一環(huán),；加之VR沉浸感的體驗優(yōu)勢,，使用者可以完全沉浸于虛擬現(xiàn)實世界中。AR,、VR 產(chǎn)業(yè)隨著需求和產(chǎn)業(yè)鏈推進,，開啟了新一輪增長期。
花房集團憑借旗下的花椒直播和六間房,，從2006年創(chuàng)立至今,，實現(xiàn)了從PC端到移動端的創(chuàng)新，一路上見證了直播產(chǎn)品的更迭,。截至2021年12月31日,，花椒直播注冊用戶約2.15億名，六間房直播注冊用戶約7890萬名,，集團旗下海外社交網(wǎng)絡(luò)產(chǎn)品有注冊用戶約9730萬名。現(xiàn)如今,，花房集團已擁有多元化的產(chǎn)品和服務(wù)矩陣,，包括花椒、六間房,、花吱,、HOLLA、Monkey等十余款產(chǎn)品,，服務(wù)全球用戶,。隨著用戶數(shù)量的不斷增加，用戶需求不斷呈現(xiàn)多樣化,，也在反推著花房集團對技術(shù)創(chuàng)新的持續(xù)突破,，秉持“用科技連接彼此，讓陪伴傳遞美好”的使命,，打造全球具有頂級影響力的在線社交娛樂生態(tài),。
隨著直播應(yīng)用從PC端到移動端的發(fā)展趨勢，唐賡帶領(lǐng)花房集團技術(shù)團隊不斷突破技術(shù)限制,，尋找移動端直播的更多可能性,。在談及AR/VR技術(shù)在直播中應(yīng)用時，唐賡直言“這是一個有趣的技術(shù)領(lǐng)域”,。
在唐賡看來,，AR/VR技術(shù)是元宇宙技術(shù)體系中的關(guān)鍵環(huán)節(jié)，無論是AR以虛強實,，還是VR虛擬現(xiàn)實,，都主要依賴視覺給予用戶實時交互反饋。AR/VR技術(shù)不僅僅是大眾所熟知的可穿戴設(shè)備（VR頭顯、AR眼鏡）,，更多是作為底層交互技術(shù)的形式存在,。
目前，直播領(lǐng)域已經(jīng)融入了很多AR元素,。以花房集團旗下的直播產(chǎn)品為例,，花椒直播在移動直播早期(2015/2016年左右)就率先運用美顏、萌顏貼紙等功能,，都是AR技術(shù)在移動端應(yīng)用的代表,。這種精準疊加的AR特效有效對主播所在的環(huán)境、屏幕以及人像做效果增強,，大幅提升直播效果,。
圖片來源：花椒直播APP
VR技術(shù)也在虛擬形象IP直播中大量使用，虛擬現(xiàn)實技術(shù)利用現(xiàn)實物理世界中采集到的數(shù)據(jù)（畫面,、動作,、角度、力度等）,，通過計算機圖形算法產(chǎn)生視頻畫面,，結(jié)合各種輸出設(shè)備，將其轉(zhuǎn)化為用戶可以看到的虛擬影像,，再結(jié)合實時互動相關(guān)技術(shù),，最終為用戶呈現(xiàn)出虛擬形象直播/連麥等終端用戶體驗。
在談及AR/VR技術(shù)在直播中的挑戰(zhàn),，唐賡認為,，主要是目前基于手機攝像頭的虛擬形象VR直播對硬件性能的要求非常高且效果還不是很完美，還有不少硬性限制（比如對于動作遮擋,、大角度轉(zhuǎn)身,、大幅度動作等都可能出現(xiàn)識別錯誤），而基于可穿戴動捕設(shè)備的方案雖然價格已經(jīng)比前幾年有非常大幅度的降低,，從上百萬甚至數(shù)百萬降到了現(xiàn)在的10萬以內(nèi),，但相對而言目前售價還是比較高，舍得投入的主播相對較少,，且目前還存在廠商眾多,，協(xié)議不互通的情況。
“廠商協(xié)議不互通就導(dǎo)致目前無法‘邀請’到其他廠商的虛擬人在同一個場景中出現(xiàn),、互動,，還只能是類似傳統(tǒng)互動直播的形式，分屏分窗口展現(xiàn),?！碧瀑s說道,。
“我們還看到存在一些不可逾越的物理定律障礙，比如VR眼鏡為了減少眩暈感需要采用90Hz甚至120Hz以上的刷新率,，只留給每一幀畫面8ms-11ms的渲染時間,，若采用云計算方案來實現(xiàn)，雖然理論上算力不成為瓶頸,，但受光信號,、電信號無法超越光速的物理定律限制，數(shù)據(jù)上行,、下行,、多人數(shù)據(jù)同步處理等已經(jīng)非常困難，如果再加上要求跨國實時互動,，則幾乎不可能,，所以需要設(shè)計非常精巧的架構(gòu)，做出必要的妥協(xié),，隱藏物理距離導(dǎo)致的時延與不一致,，盡量保證最好的用戶體驗。”
“元宇宙+直播”
唐賡帶領(lǐng)的花房技術(shù)團隊給出了答案
隨著用戶需求的多元化,，網(wǎng)絡(luò)直播逐漸從娛樂型應(yīng)用過渡升級為數(shù)字多媒體信息分發(fā)窗口,。如何通過技術(shù)的更新迭代來增強用戶個體體驗和用戶與用戶之間的情感聯(lián)結(jié)需求，成為了花房集團技術(shù)團隊的研究課題,。而“元宇宙”的爆火，也為花房集團進一步提供了發(fā)展思路,。
“元宇宙”概念雖然爆火于2021年,，但事實上，元宇宙技術(shù)在直播中的運用由來已久,。早在2018年,，花房集團通過產(chǎn)品調(diào)研就發(fā)現(xiàn)有不少連麥用戶希望以虛擬形象示人，但當時的直播技術(shù)還不足以實現(xiàn)這個需求,。作為花房集團技術(shù)委員會主席的唐賡火速帶領(lǐng)團隊進行技術(shù)調(diào)研和開發(fā),。
“利用蘋果手機剛剛推出的ARKit臉部表情肌識別功能，驅(qū)動虛擬形象臉部相應(yīng)的表情肌,，實現(xiàn)虛擬形象的嘴部,、眼部、眉毛等都能跟隨真正的人臉表情運動,，能很好地通過VR畫面向直播互動的對方傳遞表情,、情感等信息，很好地滿足了大V用戶的需求,。而當時安卓手機并沒有相應(yīng)的表情肌識別功能,，我們攜手AI表情肌識別供應(yīng)商,，共同研發(fā)了針對安卓系統(tǒng)高度優(yōu)化的版本上線提供給用戶使用?！碧瀑s回憶道,。
此外，唐賡帶領(lǐng)的技術(shù)團隊又采用自研的3D引擎,，實現(xiàn)了常見的動作捕捉,、面部捕捉，迅速切入元宇宙領(lǐng)域并有所建樹,。
花房集團今年6月推出的虛擬主播“上古玄兒”,，就是在此基礎(chǔ)上誕生的。技術(shù)團隊對軟,、硬件環(huán)境做了大量調(diào)優(yōu),，充分發(fā)揮了軟硬件系統(tǒng)的能力，將直播流暢度提升了超過200%,，確保了直播畫質(zhì),、流暢度、特效表現(xiàn)效果都處于理想的狀態(tài),，也讓“上古玄兒”以完美的狀態(tài)開播成功,，受到眾多粉絲的喜愛。
據(jù)悉,，早在2019年,，花房集團旗下花椒直播已在直播行業(yè)內(nèi)率先推出“Avatar”，無論是主播還是用戶,，都能夠用自己的虛擬形象在平臺內(nèi)進行互動,、社交；在被業(yè)界稱為“元宇宙元年”的2021年,，花椒數(shù)字藝術(shù)展示平臺——“花椒?！鄙暇€并首發(fā)數(shù)字藝術(shù)藏品；2022年春節(jié),，花椒攜手騰訊云「至信鏈」上鏈多款數(shù)字藝術(shù)禮物,；2022年2月，花椒“舞臺版”虛擬直播間開啟,，邀請主播和用戶一鍵邁入直播元宇宙,；今年6月，花椒虛擬主播上古玄兒首次開播即收獲上萬粉絲……成功示范了技術(shù)團隊在元宇宙領(lǐng)域的創(chuàng)新基因和上線效率,。
速途元宇宙研究院認為,，花房集團在直播技術(shù)上的探索正是元宇宙技術(shù)多年發(fā)展的縮影，從VR直播,、AR美顏技術(shù),、虛擬人交互,、數(shù)字藝術(shù)藏品的出現(xiàn)，花房集團為直播生態(tài)的不斷優(yōu)化升級提供了巨大的空間和可能性,，隨著技術(shù)的不斷融合,，“元宇宙+直播”還將煥發(fā)出更加蓬勃的生命力。
時代浪潮不停
元宇宙之下的互聯(lián)網(wǎng)老兵思考
圖片來源：花房集團
作為在互聯(lián)網(wǎng)前沿技術(shù)應(yīng)用多年的技術(shù)專家,，唐賡憑借著對新興技術(shù)的敏銳觸覺,，不斷進行技術(shù)的升級和更新，帶領(lǐng)團隊進行了多項社交娛樂產(chǎn)品的開發(fā),。
談及元宇宙的出現(xiàn),，唐賡介紹道，“初期對元宇宙的理解,，可以歸納為包含區(qū)塊鏈經(jīng)濟系統(tǒng)的游戲?，F(xiàn)在理解，已經(jīng)不僅僅是游戲,。游戲只是元宇宙內(nèi)容的一種落地形式,，基于元宇宙技術(shù)的遠程會議、在線辦公,、城市規(guī)劃,、工業(yè)建設(shè)、教育培訓(xùn),、在線購物,、虛擬直播等等都可以是元宇宙的落地場景?！?/p>
唐賡認為,，元宇宙的底層技術(shù)將在直播中呈現(xiàn)出更完整的體現(xiàn)和融合。他舉例說明,，在元宇宙場景和VR技術(shù)加持下，將變幻出更多選擇,，在繼續(xù)用固定視角傳輸音視頻內(nèi)容的同時,，還可以傳輸音頻和動捕數(shù)據(jù)，在參與各方的系統(tǒng)上用3D引擎重新渲染和展現(xiàn),，實現(xiàn)參與各方自由視角的顯示和互動,，為內(nèi)容的創(chuàng)作和藝術(shù)表現(xiàn)提供了無限的可能。
在提及元宇宙技術(shù)安全方面,，唐賡表示,，數(shù)字化程度越高，安全挑戰(zhàn)越大,?！霸钪妗弊鳛閿?shù)字化的高級階段,，將重新定義網(wǎng)絡(luò)安全。元宇宙技術(shù)的發(fā)展對內(nèi)容安全提出了極大挑戰(zhàn),，如何對虛擬空間的內(nèi)容進行AI審核,、如何保證內(nèi)容安全合規(guī)等問題日漸凸顯。花房集團將利用自身優(yōu)勢與用戶圈層進行深度鏈接,，加深擴大社會各界對網(wǎng)絡(luò)安全的重視,。
作為工商管理學(xué)博士，唐賡對于元宇宙技術(shù)人才管理與儲備也有自己獨特的管理思考,。他認為,，選拔人才的標準不是一成不變的，而是因人而異,、因崗而異,。元宇宙所覆蓋的技術(shù)面較廣，這也對技術(shù)團隊和技術(shù)開發(fā)人才提出了大量新要求,，多方位發(fā)展的全能型人才才能適應(yīng)市場的發(fā)展,，在項目成本、進度,、目標等等各種制約因素下達成合理的項目產(chǎn)出,。
“元宇宙”是由物質(zhì)世界、信息世界互相影響,、互相促進的虛擬共生的世界,，這也正與花房集團旗下的產(chǎn)品業(yè)務(wù)屬性相匹配。唐賡帶領(lǐng)花房集團技術(shù)團隊獨辟蹊徑,，將元宇宙與傳統(tǒng)直播相結(jié)合,，是一種全新的嘗試。而花房集團多年的技術(shù)沉淀,，也為“新概念＋老行業(yè)”的融合提供了堅實的技術(shù)保障,。
在多元與共創(chuàng)的元宇宙場景中，花房集團作為全球頗具影響力的在線社交娛樂服務(wù)提供商,，將不斷完善產(chǎn)品矩陣和服務(wù)體系,，創(chuàng)造更多元宇宙的新型應(yīng)用場景，為用戶提供更為極致的沉浸體驗,。未來,，我們期待花房集團在社交娛樂領(lǐng)域全球化布局元宇宙的模式或?qū)⒊蔀橄乱粋€互聯(lián)網(wǎng)新風(fēng)口。