虛擬現(xiàn)實(shí)是一種可以創(chuàng)建和體驗(yàn)虛擬世界的計(jì)算機(jī)系統(tǒng),由計(jì)算機(jī)生成,通過視、聽、觸、嗅覺等作用于用戶,為用戶產(chǎn)生聲臨其境的感覺。其中沉浸感(immersion)、交互性(interaction)和構(gòu)想性(imagination)是虛擬現(xiàn)實(shí)系統(tǒng)的三個基本特征。而人機(jī)交互是虛擬現(xiàn)實(shí)的核心技術(shù)之一,人機(jī)交互的目標(biāo)是通過適當(dāng)?shù)姆绞剑瑢⒂脩舻男袨楹蜖顟B(tài)(輸入)轉(zhuǎn)變成一種計(jì)算機(jī)能夠懂理解和操作的表示,并把計(jì)算機(jī)的行為和狀態(tài)(輸出)轉(zhuǎn)化為一種人能夠理解和操作的表達(dá),同時(shí)通過界面反饋給人。虛擬現(xiàn)實(shí)一方面需要感知用戶的肌肉運(yùn)動、姿勢、語言和身體跟蹤等多個感官通道的輸入信息;另一方面可以從人類的視覺、聽覺、觸覺、嗅覺等多個感官通道模擬逼真的真實(shí)世界的感覺,從而建立起一個自然和諧的人機(jī)環(huán)境。
新一代的交互方式以多通道和多媒體為特征,將使人機(jī)交互變得更加智能。這里的多通道指利用人的多種感覺通道和動作通道,如語音、姿勢、動作、眼動、唇動、表情和意識等。這種交互方式實(shí)現(xiàn)了以并行、非精確的方式與計(jì)算機(jī)進(jìn)行交互,從而大幅度提高了人機(jī)交互的自然性和交互效率。
WIMI微美全息開發(fā)了虛擬現(xiàn)實(shí)多通道交互系統(tǒng)。多通道交互系統(tǒng)是指在一個系統(tǒng)中組合了2個或以上輸入通道(如語音、視頻、觸覺和手勢等)的協(xié)作方式,充分利用人類不同的感覺通道,使得交互更為自然有效。在多通道用戶交互系統(tǒng)中,用戶可以使用自然的交互方式如語音、手勢、眼神、表情、唇動等與計(jì)算機(jī)系統(tǒng)進(jìn)行協(xié)同工作,人和機(jī)器都都是信息交流的主動參與者,輸入通道之間有串行/并行、互補(bǔ)/獨(dú)立等多種方式,人機(jī)交互向人與人交互的形式靠攏,大幅度提高了交互的自然性和高效性,這將會是未來虛擬現(xiàn)實(shí)人機(jī)交互的主流形式。
在虛擬現(xiàn)實(shí)中使用多通道交互具有明顯優(yōu)勢,其不僅可以降低耦合度,減少用戶的認(rèn)知負(fù)荷,也可顯著提高輸入的識別率,并為用戶提供靈活的輸入方式,提高交互效率。
WIMI微美全息虛擬現(xiàn)實(shí)多通道系統(tǒng)使用戶同時(shí)使用不同的通道進(jìn)行交互,這些交互通常基于語音、姿勢或觸覺輸入,此外,像面部表情識別或唇讀也用于多通道輸入。多通道界面能組合單獨(dú)通道的優(yōu)勢,或根據(jù)環(huán)境上下文轉(zhuǎn)換通道。由于多通道技術(shù)融合了多個通道的輸入流,因而在虛擬現(xiàn)實(shí)中使用多通道交互技術(shù)可以極大地提高系統(tǒng)控制的性能。而多通道融合主要有兩種方式,特征融合和語義融合,特征融合是基于原始輸入數(shù)據(jù)在信號級進(jìn)行融合,這種方式適用于被融合的通道是緊密耦合的;語義融合是把輸入數(shù)據(jù)映射為語義解釋的過程,從輸入通道獲取輸入信息流,通過初步的預(yù)處理,構(gòu)建統(tǒng)一的數(shù)據(jù)表示。
人機(jī)交互是系統(tǒng)與用戶之間的交互關(guān)系,它使用人與計(jì)算機(jī)之間的對話語言,以某種交互方式完成人與計(jì)算機(jī)間的信息交換過程。在人機(jī)交互中,人類的自然交互行為和物理空間的狀態(tài)變化是多通道的模式。
對于虛擬現(xiàn)實(shí)場景的人機(jī)交互,無論是語音識別、情感識別還是人機(jī)對話,深度學(xué)習(xí)都會使所建立的系統(tǒng)更加智能化。WIMI微美全息多通道用戶交互系統(tǒng)可增強(qiáng)機(jī)器模型識別、分類和分析混淆行為的能力,其引領(lǐng)著虛擬現(xiàn)實(shí)人機(jī)交互模式正逐步向智能化、人性化、場景化方向發(fā)展,構(gòu)建一個和諧自然的虛擬現(xiàn)實(shí)人機(jī)環(huán)境。