來源：速途元宇宙研究院
近日，速途元宇宙研究院召開“共話元宇宙XR視界”主題沙龍，旨在對(duì)當(dāng)下活躍的AR/VR市場(chǎng)進(jìn)行解析及探索,，XR將在元宇宙熱潮下釋放新生命力,，而年輕用戶群體對(duì)于消費(fèi)級(jí)VR、AR終端,、游戲、直播的喜愛也孕育出新的消費(fèi)藍(lán)海領(lǐng)域,，此次“共話元宇宙XR視界”沙龍也標(biāo)志未來元宇宙領(lǐng)域依然有著無盡的挖掘空間,。
本次沙龍我們邀請(qǐng)到花房集團(tuán)VP 技術(shù)委員會(huì)主席唐賡先生,，花房集團(tuán)作為當(dāng)下在線社交娛樂領(lǐng)域的領(lǐng)頭企業(yè)，唐賡先生的出席讓眾多與會(huì)業(yè)內(nèi)進(jìn)行了更深入的思考,。在沙龍中,，唐賡先生對(duì)AR/VR技術(shù)在直播中的應(yīng)用與挑戰(zhàn)進(jìn)行了解讀,，揭開了“元宇宙+直播”模式的全新方向,。
唐賡先生簡(jiǎn)介：
花房集團(tuán)VP 技術(shù)委員會(huì)主席，擁有22年從業(yè)經(jīng)驗(yàn),，在操作系統(tǒng)/嵌入式系統(tǒng),、系統(tǒng)架構(gòu)、企業(yè)級(jí)網(wǎng)絡(luò)安全,、音視頻編解碼,、云計(jì)算/云原生架構(gòu)、AI/AR/VR,、元宇宙等等技術(shù)領(lǐng)域有多年實(shí)踐經(jīng)驗(yàn),，擁有多項(xiàng)技術(shù)發(fā)明專利。曾在雅虎中國(guó),、阿里巴巴任職多年,，也是原摩比神奇公司創(chuàng)始人/總經(jīng)理、曾任360技術(shù)委員會(huì)委員,。工業(yè)自動(dòng)化控制專業(yè)學(xué)士,，工商管理學(xué)博士。
AR/VR技術(shù)
在直播中的應(yīng)用與挑戰(zhàn)
當(dāng)下,，在元宇宙相關(guān)產(chǎn)業(yè)中,，AR/VR 無疑是最受關(guān)注的賽道。AR技術(shù)是使用附加數(shù)據(jù)注釋現(xiàn)實(shí)世界場(chǎng)景的最佳方式,，隨著智能手機(jī)提高其深度感應(yīng)和處理能力,，移動(dòng)設(shè)備上的AR運(yùn)用成為重要的一環(huán)；加之VR沉浸感的體驗(yàn)優(yōu)勢(shì),，使用者可以完全沉浸于虛擬現(xiàn)實(shí)世界中,。AR、VR 產(chǎn)業(yè)隨著需求和產(chǎn)業(yè)鏈推進(jìn)，開啟了新一輪增長(zhǎng)期,。
花房集團(tuán)憑借旗下的花椒直播和六間房,，從2006年創(chuàng)立至今，實(shí)現(xiàn)了從PC端到移動(dòng)端的創(chuàng)新,，一路上見證了直播產(chǎn)品的更迭,。截至2021年12月31日，花椒直播注冊(cè)用戶約2.15億名,，六間房直播注冊(cè)用戶約7890萬名,，集團(tuán)旗下海外社交網(wǎng)絡(luò)產(chǎn)品有注冊(cè)用戶約9730萬名。現(xiàn)如今,，花房集團(tuán)已擁有多元化的產(chǎn)品和服務(wù)矩陣,，包括花椒、六間房,、花吱,、HOLLA、Monkey等十余款產(chǎn)品,，服務(wù)全球用戶,。隨著用戶數(shù)量的不斷增加，用戶需求不斷呈現(xiàn)多樣化,，也在反推著花房集團(tuán)對(duì)技術(shù)創(chuàng)新的持續(xù)突破,，秉持“用科技連接彼此，讓陪伴傳遞美好”的使命,，打造全球具有頂級(jí)影響力的在線社交娛樂生態(tài),。
隨著直播應(yīng)用從PC端到移動(dòng)端的發(fā)展趨勢(shì)，唐賡帶領(lǐng)花房集團(tuán)技術(shù)團(tuán)隊(duì)不斷突破技術(shù)限制,，尋找移動(dòng)端直播的更多可能性,。在談及AR/VR技術(shù)在直播中應(yīng)用時(shí)，唐賡直言“這是一個(gè)有趣的技術(shù)領(lǐng)域”,。
在唐賡看來,，AR/VR技術(shù)是元宇宙技術(shù)體系中的關(guān)鍵環(huán)節(jié)，無論是AR以虛強(qiáng)實(shí),，還是VR虛擬現(xiàn)實(shí),，都主要依賴視覺給予用戶實(shí)時(shí)交互反饋。AR/VR技術(shù)不僅僅是大眾所熟知的可穿戴設(shè)備（VR頭顯,、AR眼鏡）,，更多是作為底層交互技術(shù)的形式存在。
目前,，直播領(lǐng)域已經(jīng)融入了很多AR元素,。以花房集團(tuán)旗下的直播產(chǎn)品為例,，花椒直播在移動(dòng)直播早期(2015/2016年左右)就率先運(yùn)用美顏、萌顏貼紙等功能,，都是AR技術(shù)在移動(dòng)端應(yīng)用的代表,。這種精準(zhǔn)疊加的AR特效有效對(duì)主播所在的環(huán)境、屏幕以及人像做效果增強(qiáng),，大幅提升直播效果,。
圖片來源：花椒直播APP
VR技術(shù)也在虛擬形象IP直播中大量使用，虛擬現(xiàn)實(shí)技術(shù)利用現(xiàn)實(shí)物理世界中采集到的數(shù)據(jù)（畫面,、動(dòng)作,、角度、力度等）,，通過計(jì)算機(jī)圖形算法產(chǎn)生視頻畫面,，結(jié)合各種輸出設(shè)備，將其轉(zhuǎn)化為用戶可以看到的虛擬影像,，再結(jié)合實(shí)時(shí)互動(dòng)相關(guān)技術(shù),，最終為用戶呈現(xiàn)出虛擬形象直播/連麥等終端用戶體驗(yàn)。
在談及AR/VR技術(shù)在直播中的挑戰(zhàn),，唐賡認(rèn)為,，主要是目前基于手機(jī)攝像頭的虛擬形象VR直播對(duì)硬件性能的要求非常高且效果還不是很完美,，還有不少硬性限制（比如對(duì)于動(dòng)作遮擋,、大角度轉(zhuǎn)身、大幅度動(dòng)作等都可能出現(xiàn)識(shí)別錯(cuò)誤）,，而基于可穿戴動(dòng)捕設(shè)備的方案雖然價(jià)格已經(jīng)比前幾年有非常大幅度的降低,，從上百萬甚至數(shù)百萬降到了現(xiàn)在的10萬以內(nèi)，但相對(duì)而言目前售價(jià)還是比較高,，舍得投入的主播相對(duì)較少,，且目前還存在廠商眾多，協(xié)議不互通的情況,。
“廠商協(xié)議不互通就導(dǎo)致目前無法‘邀請(qǐng)’到其他廠商的虛擬人在同一個(gè)場(chǎng)景中出現(xiàn),、互動(dòng)，還只能是類似傳統(tǒng)互動(dòng)直播的形式,，分屏分窗口展現(xiàn),。”唐賡說道,。
“我們還看到存在一些不可逾越的物理定律障礙,，比如VR眼鏡為了減少眩暈感需要采用90Hz甚至120Hz以上的刷新率，只留給每一幀畫面8ms-11ms的渲染時(shí)間,，若采用云計(jì)算方案來實(shí)現(xiàn),，雖然理論上算力不成為瓶頸,，但受光信號(hào)、電信號(hào)無法超越光速的物理定律限制,，數(shù)據(jù)上行,、下行、多人數(shù)據(jù)同步處理等已經(jīng)非常困難,，如果再加上要求跨國(guó)實(shí)時(shí)互動(dòng),，則幾乎不可能，所以需要設(shè)計(jì)非常精巧的架構(gòu),，做出必要的妥協(xié),，隱藏物理距離導(dǎo)致的時(shí)延與不一致，盡量保證最好的用戶體驗(yàn),。”
“元宇宙+直播”
唐賡帶領(lǐng)的花房技術(shù)團(tuán)隊(duì)給出了答案
隨著用戶需求的多元化,，網(wǎng)絡(luò)直播逐漸從娛樂型應(yīng)用過渡升級(jí)為數(shù)字多媒體信息分發(fā)窗口。如何通過技術(shù)的更新迭代來增強(qiáng)用戶個(gè)體體驗(yàn)和用戶與用戶之間的情感聯(lián)結(jié)需求,，成為了花房集團(tuán)技術(shù)團(tuán)隊(duì)的研究課題,。而“元宇宙”的爆火，也為花房集團(tuán)進(jìn)一步提供了發(fā)展思路,。
“元宇宙”概念雖然爆火于2021年,，但事實(shí)上，元宇宙技術(shù)在直播中的運(yùn)用由來已久,。早在2018年,，花房集團(tuán)通過產(chǎn)品調(diào)研就發(fā)現(xiàn)有不少連麥用戶希望以虛擬形象示人，但當(dāng)時(shí)的直播技術(shù)還不足以實(shí)現(xiàn)這個(gè)需求,。作為花房集團(tuán)技術(shù)委員會(huì)主席的唐賡火速帶領(lǐng)團(tuán)隊(duì)進(jìn)行技術(shù)調(diào)研和開發(fā),。
“利用蘋果手機(jī)剛剛推出的ARKit臉部表情肌識(shí)別功能，驅(qū)動(dòng)虛擬形象臉部相應(yīng)的表情肌,，實(shí)現(xiàn)虛擬形象的嘴部,、眼部、眉毛等都能跟隨真正的人臉表情運(yùn)動(dòng),，能很好地通過VR畫面向直播互動(dòng)的對(duì)方傳遞表情,、情感等信息，很好地滿足了大V用戶的需求,。而當(dāng)時(shí)安卓手機(jī)并沒有相應(yīng)的表情肌識(shí)別功能,，我們攜手AI表情肌識(shí)別供應(yīng)商，共同研發(fā)了針對(duì)安卓系統(tǒng)高度優(yōu)化的版本上線提供給用戶使用,?！碧瀑s回憶道。
此外,，唐賡帶領(lǐng)的技術(shù)團(tuán)隊(duì)又采用自研的3D引擎,，實(shí)現(xiàn)了常見的動(dòng)作捕捉,、面部捕捉，迅速切入元宇宙領(lǐng)域并有所建樹,。
花房集團(tuán)今年6月推出的虛擬主播“上古玄兒”,，就是在此基礎(chǔ)上誕生的。技術(shù)團(tuán)隊(duì)對(duì)軟,、硬件環(huán)境做了大量調(diào)優(yōu),，充分發(fā)揮了軟硬件系統(tǒng)的能力，將直播流暢度提升了超過200%,，確保了直播畫質(zhì),、流暢度、特效表現(xiàn)效果都處于理想的狀態(tài),，也讓“上古玄兒”以完美的狀態(tài)開播成功,，受到眾多粉絲的喜愛。
據(jù)悉,，早在2019年,，花房集團(tuán)旗下花椒直播已在直播行業(yè)內(nèi)率先推出“Avatar”，無論是主播還是用戶,，都能夠用自己的虛擬形象在平臺(tái)內(nèi)進(jìn)行互動(dòng),、社交；在被業(yè)界稱為“元宇宙元年”的2021年,，花椒數(shù)字藝術(shù)展示平臺(tái)——“花椒?！鄙暇€并首發(fā)數(shù)字藝術(shù)藏品；2022年春節(jié),，花椒攜手騰訊云「至信鏈」上鏈多款數(shù)字藝術(shù)禮物,；2022年2月,，花椒“舞臺(tái)版”虛擬直播間開啟,，邀請(qǐng)主播和用戶一鍵邁入直播元宇宙；今年6月,，花椒虛擬主播上古玄兒首次開播即收獲上萬粉絲……成功示范了技術(shù)團(tuán)隊(duì)在元宇宙領(lǐng)域的創(chuàng)新基因和上線效率,。
速途元宇宙研究院認(rèn)為，花房集團(tuán)在直播技術(shù)上的探索正是元宇宙技術(shù)多年發(fā)展的縮影,，從VR直播,、AR美顏技術(shù)、虛擬人交互,、數(shù)字藝術(shù)藏品的出現(xiàn),，花房集團(tuán)為直播生態(tài)的不斷優(yōu)化升級(jí)提供了巨大的空間和可能性，隨著技術(shù)的不斷融合,，“元宇宙+直播”還將煥發(fā)出更加蓬勃的生命力,。
時(shí)代浪潮不停
元宇宙之下的互聯(lián)網(wǎng)老兵思考
圖片來源：花房集團(tuán)
作為在互聯(lián)網(wǎng)前沿技術(shù)應(yīng)用多年的技術(shù)專家,，唐賡憑借著對(duì)新興技術(shù)的敏銳觸覺，不斷進(jìn)行技術(shù)的升級(jí)和更新,，帶領(lǐng)團(tuán)隊(duì)進(jìn)行了多項(xiàng)社交娛樂產(chǎn)品的開發(fā),。
談及元宇宙的出現(xiàn)，唐賡介紹道,，“初期對(duì)元宇宙的理解,，可以歸納為包含區(qū)塊鏈經(jīng)濟(jì)系統(tǒng)的游戲。現(xiàn)在理解,，已經(jīng)不僅僅是游戲,。游戲只是元宇宙內(nèi)容的一種落地形式，基于元宇宙技術(shù)的遠(yuǎn)程會(huì)議,、在線辦公,、城市規(guī)劃、工業(yè)建設(shè),、教育培訓(xùn),、在線購(gòu)物、虛擬直播等等都可以是元宇宙的落地場(chǎng)景,?！?/p>
唐賡認(rèn)為，元宇宙的底層技術(shù)將在直播中呈現(xiàn)出更完整的體現(xiàn)和融合,。他舉例說明,，在元宇宙場(chǎng)景和VR技術(shù)加持下，將變幻出更多選擇,，在繼續(xù)用固定視角傳輸音視頻內(nèi)容的同時(shí),，還可以傳輸音頻和動(dòng)捕數(shù)據(jù)，在參與各方的系統(tǒng)上用3D引擎重新渲染和展現(xiàn),，實(shí)現(xiàn)參與各方自由視角的顯示和互動(dòng),，為內(nèi)容的創(chuàng)作和藝術(shù)表現(xiàn)提供了無限的可能。
在提及元宇宙技術(shù)安全方面,，唐賡表示,，數(shù)字化程度越高，安全挑戰(zhàn)越大,?！霸钪妗弊鳛閿?shù)字化的高級(jí)階段，將重新定義網(wǎng)絡(luò)安全,。元宇宙技術(shù)的發(fā)展對(duì)內(nèi)容安全提出了極大挑戰(zhàn),，如何對(duì)虛擬空間的內(nèi)容進(jìn)行AI審核、如何保證內(nèi)容安全合規(guī)等問題日漸凸顯,。花房集團(tuán)將利用自身優(yōu)勢(shì)與用戶圈層進(jìn)行深度鏈接,，加深擴(kuò)大社會(huì)各界對(duì)網(wǎng)絡(luò)安全的重視,。
作為工商管理學(xué)博士，唐賡對(duì)于元宇宙技術(shù)人才管理與儲(chǔ)備也有自己獨(dú)特的管理思考,。他認(rèn)為,，選拔人才的標(biāo)準(zhǔn)不是一成不變的，而是因人而異,、因崗而異,。元宇宙所覆蓋的技術(shù)面較廣，這也對(duì)技術(shù)團(tuán)隊(duì)和技術(shù)開發(fā)人才提出了大量新要求,，多方位發(fā)展的全能型人才才能適應(yīng)市場(chǎng)的發(fā)展,，在項(xiàng)目成本、進(jìn)度,、目標(biāo)等等各種制約因素下達(dá)成合理的項(xiàng)目產(chǎn)出,。
“元宇宙”是由物質(zhì)世界、信息世界互相影響,、互相促進(jìn)的虛擬共生的世界,，這也正與花房集團(tuán)旗下的產(chǎn)品業(yè)務(wù)屬性相匹配。唐賡帶領(lǐng)花房集團(tuán)技術(shù)團(tuán)隊(duì)獨(dú)辟蹊徑,，將元宇宙與傳統(tǒng)直播相結(jié)合,，是一種全新的嘗試。而花房集團(tuán)多年的技術(shù)沉淀,，也為“新概念＋老行業(yè)”的融合提供了堅(jiān)實(shí)的技術(shù)保障,。
在多元與共創(chuàng)的元宇宙場(chǎng)景中，花房集團(tuán)作為全球頗具影響力的在線社交娛樂服務(wù)提供商,，將不斷完善產(chǎn)品矩陣和服務(wù)體系,，創(chuàng)造更多元宇宙的新型應(yīng)用場(chǎng)景，為用戶提供更為極致的沉浸體驗(yàn),。未來,，我們期待花房集團(tuán)在社交娛樂領(lǐng)域全球化布局元宇宙的模式或?qū)⒊蔀橄乱粋€(gè)互聯(lián)網(wǎng)新風(fēng)口。