到底什么是VR?
早在1965年,Ivan Sutherland就在“The Ultimate Display”這篇文章里提出了一種全新的圖形顯示技術(shù)——觀察者不再通過計算機窗口(屏幕之類的顯示設(shè)備)來觀察畫面,而是直接沉浸在計算機生成的3D世界中,觀察者轉(zhuǎn)動身體或者眼球話,場景會實時變化,并能以自然的方式與3D世界進行互動,不光能看到,還能觸摸、能感覺,能聽到三維的聲音。
虛擬現(xiàn)實技術(shù)是一種可以創(chuàng)建和體驗虛擬世界的計算機仿真系統(tǒng),它利用計算機生成一種模擬環(huán)境是一種多源信息融合的交互式的三維動態(tài)視景和實體行為的系統(tǒng)仿真使用戶沉浸到該環(huán)境中。
VR的特征有哪些?
多感知性
指除一般計算機所具有的視覺感知外,還有聽覺感知、觸覺感知、運動感知,甚至還包括味覺、嗅覺、感知等。理想的虛擬現(xiàn)實應該具有一切人所具有的感知功能。
存在感
指用戶感到作為主角存在于模擬環(huán)境中的真實程度。模擬環(huán)境是由計算機生成的、實時動態(tài)的三維立體逼真圖像,一個理想的模擬環(huán)境應該達到使用戶難辨真假的程度。
交互性
指用戶對模擬環(huán)境內(nèi)物體的可操作程度和從環(huán)境得到反饋的自然程度。人的頭部轉(zhuǎn)動,眼睛、手勢等人體行為動作,由計算機來處理與參與者的動作相適應的數(shù)據(jù),并對用戶的輸入作出實時響應,并分別反饋到用戶的五官。
自主性
指虛擬環(huán)境中的物體依據(jù)現(xiàn)實世界物理運動定律動作的程度。
實現(xiàn)VR的關(guān)鍵技術(shù)
虛擬現(xiàn)實是多種技術(shù)的綜合,包括實時三維計算機圖形技術(shù),廣角(寬視野)立體顯示技術(shù),對觀察者頭、眼和手的跟蹤技術(shù),以及觸覺/力覺反饋、立體聲、網(wǎng)絡(luò)傳輸、語音輸入輸出技術(shù)等。下面對這些技術(shù)分別加以說明。
實時三維計算機圖形
足夠準確的模型、足夠的時間下,就可以利用計算機模型生成不同光照條件下各種物體的精確圖像,而這里的關(guān)鍵是實時。
是否實時將關(guān)系到用戶最終是否使用VR設(shè)備。
AMD官網(wǎng)上描述過延遲問題:“在使用虛擬現(xiàn)實功能時,如果您在遇到場景更新時間過長時轉(zhuǎn)頭,可能會感到惡心或眩暈。導致這種身體不適的常見原因被稱為“運動到圖像顯示的延遲”。”
改善延遲是VR產(chǎn)品的核心競爭力,理論上VR設(shè)備的延遲越低越好,無延遲更佳,但實際上廠商只能通過技術(shù)手段盡量降低延遲,產(chǎn)生延遲的主要是GPU渲染場景時間以畫面輸出到VR顯示器上的時間。
顯示
在VR系統(tǒng)中,雙目立體視覺起了很大作用。用戶的兩只眼睛看到的不同圖像是分別產(chǎn)生的,顯示在不同的顯示器上。用戶帶上特殊的眼鏡后,一只眼睛只能看到奇數(shù)幀圖像,另一只眼睛只能看到偶數(shù)幀圖像,而奇、偶幀之間的不同即視差,則產(chǎn)生立體感。
VR獨特的體驗源于它跟人眼看物體原理差不多,左眼、右眼是各自獨立處理畫面的,這就要求VR設(shè)備也要把畫面分為兩部分來處理,所以對電腦硬件的要求就提高了。
NVIDIA公布的一些測試數(shù)據(jù)顯示:PC上1920x1080 30fps運行游戲需要渲染的工作量是60MP/s,而VR的分辨率可以達到1512x1680(雙眼是3024x1680),而且?guī)室残枰M一步提高,需要渲染的工作量是450MP/s,對性能的要求是普通PC游戲的7倍。
實際上為了更好的VR體驗,3024x1680、90fps的VR要求遠遠達不到完美,真正的沉浸式體驗需要16K分辨率、240Hz刷新率,可想而知VR對硬件的要求有多高。
用戶(頭、眼)的跟蹤:在人造環(huán)境中,每個物體相對于系統(tǒng)的坐標系都有一個位置與姿態(tài),而用戶也是如此。用戶看到的景象是由用戶的位置和頭(眼)的方向來確定的,通過雙目立體視覺去認識環(huán)境,利用頭部跟蹤來改變圖像的視角,觀察環(huán)境,用戶的視覺系統(tǒng)和運動感知系統(tǒng)之間的聯(lián)系,感覺會更逼真。
聲音
在水平方向上,我們依靠聲音的相位差及強度差來確定聲源方向。由于聲音到達兩只耳朵的時間或距離有所不同,常見的立體聲效果就是靠左右耳聽到在不同位置錄制的不同聲音來實現(xiàn)的,所以會有一種方向感。
感覺反饋
在一個VR系統(tǒng)中,用戶可以看到一個虛擬的杯子。你可以設(shè)法去抓住它,但是你的手沒有真正接觸杯子的感覺,并有可能穿過虛擬杯子的“表面”,而這在現(xiàn)實生活中是不可能的。解決這一問題的常用裝置是在手套內(nèi)層安裝一些可以振動的觸點來模擬觸覺。
語音
在VR系統(tǒng)中,語音的輸入輸出也很重要,要求虛擬環(huán)境能聽懂人的語言,并能與人實時交互。而讓計算機識別人的語音是相當困難的,因為語音信號和自然語言信號有其“多邊性”和復雜性。使用人的自然語言作為計算機輸入目前有兩個問題,首先是效率問題,為便于計算機理解,輸入的語音可能會相當啰嗦。其次是正確性問題,計算機理解語音的方法是對比匹配,而沒有人的智能。
VR應用在哪里?
VR技術(shù)發(fā)展這么多年,早已在各行各業(yè)有了深度應用,軍事上有虛擬戰(zhàn)場、虛擬駕駛,工業(yè)上有各種虛擬建筑、醫(yī)學上有虛擬手術(shù)、教育上有虛擬課堂、商業(yè)上有虛擬商店以及虛擬旅游等,去年12月份故宮還開放了端門數(shù)字展覽館,觀眾還可以在數(shù)字屏風里試穿各種華服,這都是VR技術(shù)的應用實例。而消費級產(chǎn)品VR眼鏡、VR頭盔則將廣泛應用在VR游戲、VR電影。