語(yǔ)音、手勢(shì)、觸控、人臉等,思必馳多模態(tài)交互開啟智能經(jīng)濟(jì)時(shí)代
人類的交互通道有眼耳鼻舌口等器官,他們充當(dāng)著外在世界信號(hào)的“接收器”,將范圍內(nèi)的信號(hào)接收并傳遞給“大腦”。在機(jī)器世界里,從過去鼠標(biāo)鍵盤轉(zhuǎn)變成當(dāng)下的觸控、語(yǔ)音、手勢(shì)、視覺等,多模態(tài)人機(jī)交互技術(shù)正在彼此融合。
目前智能語(yǔ)音具備兼顧老人、兒童以及地方方言的能力,語(yǔ)音與視覺,觸屏,LCD反饋顯示結(jié)合的交互體驗(yàn),令交互門檻的不斷降低。國(guó)內(nèi)專業(yè)的對(duì)話式AI企業(yè)思必馳,結(jié)合全鏈路語(yǔ)音交互技術(shù)及自研計(jì)算機(jī)視覺技術(shù)推出多模態(tài)交互技術(shù)方案,落地白電、黑電智能終端,滿足用戶智能化需求。
機(jī)器的“眼耳鼻舌口”
機(jī)器能夠聽懂人類說話,產(chǎn)生對(duì)話并提供服務(wù),大大增強(qiáng)了物聯(lián)網(wǎng)設(shè)備實(shí)際使用價(jià)值。越來越多搭載語(yǔ)音交互平臺(tái),能夠?qū)崿F(xiàn)對(duì)話的物聯(lián)網(wǎng)設(shè)備,從電視、冰箱到家居設(shè)備,各種終端不勝枚舉。
在實(shí)踐過程中發(fā)現(xiàn),語(yǔ)音交互的物聯(lián)網(wǎng)設(shè)備缺乏主動(dòng)服務(wù)的能力,只是換了操作方式,用戶體驗(yàn)沒有本質(zhì)提升。這種缺乏主動(dòng)服務(wù)的人機(jī)關(guān)系怎么改變呢?答案也許是讓機(jī)器除了能聽和說之外,還要能看,能感覺,能將五感聯(lián)系到一起進(jìn)行思考。
在智能語(yǔ)音交互發(fā)展的過程中,多模態(tài)交互是一個(gè)必經(jīng)階段。擁有各種傳感器的智能設(shè)備,除了能聽(耳)會(huì)說(嘴),同時(shí)還利用攝像頭(眼)觀察、底盤云臺(tái)(腳)移動(dòng)等,從而全面的理解用戶、與用戶進(jìn)行溝通,從而滿足用戶的需求。
這個(gè)交互過程模擬了人與人之間的交互方式,使交互更自然、更切合用戶意圖。這一交互方式打破了傳統(tǒng)的鍵盤輸入和智能手機(jī)的點(diǎn)觸式交互方式,符合“機(jī)器人”類產(chǎn)品的形態(tài)特點(diǎn)和用戶期待,定義了下一代智能產(chǎn)品和人的專屬交互模式。
三方面加持,深化多模態(tài)交互
智能經(jīng)濟(jì)時(shí)代,人機(jī)交互將全面智能化并帶來一系列的深度變革。需要不斷升級(jí)產(chǎn)品、內(nèi)容、服務(wù),才能更好地適應(yīng)用戶在未來智能化終端上的需求和習(xí)慣。
思必馳作為國(guó)內(nèi)專業(yè)的對(duì)話式人工智能平臺(tái)公司,從信號(hào)處理、識(shí)別到理解到交互,思必馳擁有全面的智能語(yǔ)音語(yǔ)言技術(shù)。思必馳多模態(tài)交互技術(shù)的應(yīng)用,主要為以下三個(gè)方面:
多模態(tài)VAD
根據(jù)視覺和音頻特征,通過多模態(tài)融合的方式識(shí)別出說話人的語(yǔ)音內(nèi)容,拒識(shí)其他說話人的聲音,從而實(shí)現(xiàn)輔助降噪、拒識(shí)
人臉識(shí)別&人臉對(duì)比
人臉識(shí)別:人臉關(guān)鍵點(diǎn)、頭部姿態(tài)角、人臉與攝像頭距離角度、性別、年齡、口罩等;
人臉對(duì)比:首先進(jìn)行人臉注冊(cè),提取注冊(cè)人臉的特征;對(duì)需要對(duì)比的人臉提取特征,并與注冊(cè)的人臉特征進(jìn)行對(duì)比,識(shí)別出該人臉是否注冊(cè)及其FaceID;
手勢(shì)識(shí)別
當(dāng)用戶說了一天的話,坐在沙發(fā)上想看個(gè)電視卻找不到遙控器換臺(tái),他抬手在面板前,用手勢(shì)切換臺(tái);
用戶在聽音樂,此時(shí)電話來了,他用手勢(shì)示意面板將音樂暫停;
從智能家居,到“多模態(tài)”開花
依托智能語(yǔ)音行業(yè)深耕多年的經(jīng)驗(yàn)及關(guān)鍵技術(shù)優(yōu)勢(shì),結(jié)合全鏈路語(yǔ)音交互技術(shù)及自研計(jì)算機(jī)視覺技術(shù),思必馳的多模態(tài)交互技術(shù)方案已經(jīng)落地眾多智能終端產(chǎn)品,滿足用戶智能化需求。
智能家居領(lǐng)域,針對(duì)空調(diào)、冰箱、爐灶等白電產(chǎn)品,思必馳推出智能白電 AI 交互解決方案。根據(jù)智能白電的不同組網(wǎng)模式(中控/分布式/單機(jī)),思必馳提供正面喚醒、就近喚醒、語(yǔ)義喚醒以及多模態(tài)綜合喚醒方案。
黑電領(lǐng)域,智能電視作為「客廳經(jīng)濟(jì)」中的核心代表產(chǎn)品,占據(jù)客廳場(chǎng)景最大的流量入口。思必馳為智能電視打造流暢自然的語(yǔ)音入口+輸出,同時(shí)背靠DUI平臺(tái),打通了超過300家第三方資源接口,為用戶提供全屋家居控制、交通出行、新聞資訊、生活?yuàn)蕵返雀黝I(lǐng)域內(nèi)容服務(wù)。
針對(duì)周邊嘈雜干擾大、多人密集同時(shí)交互的情況,比如多位用戶在激烈的玩電子游戲、親朋好友聚會(huì)等。思必馳多模態(tài)交互技術(shù)方案,根據(jù)視覺和音頻特征,通過多模態(tài)融合VAD分離出說話人的目標(biāo)語(yǔ)音,拒識(shí)其他說話人的聲音,實(shí)現(xiàn)輔助降噪、提高聲源定位的精準(zhǔn)度,即使說話人在移動(dòng)狀態(tài)下也不受影響。
另外,思必馳多模態(tài)交互技術(shù)方案還可以應(yīng)用在會(huì)議大屏、商場(chǎng)顯示大屏、地鐵購(gòu)票機(jī)等商用帶屏顯示設(shè)備中,目前此技術(shù)已在全國(guó)多個(gè)地區(qū)地鐵的購(gòu)票設(shè)備中落地。
隨著思必馳旗下深聰智能第二代AI芯片發(fā)布,思必馳在多模態(tài)方面的演進(jìn)路線更加明朗。語(yǔ)音、圖像、手勢(shì)等交互方式的交融能夠極大程度降低用戶的AI體驗(yàn)門檻,未來,思必馳將繼續(xù)發(fā)揮優(yōu)勢(shì)并持續(xù)打造更多滿足AI應(yīng)用場(chǎng)景的產(chǎn)品,為智能經(jīng)濟(jì)時(shí)代提供向上引擎。
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
即日-10.29立即報(bào)名>> 2024德州儀器嵌入式技術(shù)創(chuàng)新發(fā)展研討會(huì)
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場(chǎng)仿真助跑新能源汽車
-
11月14日立即報(bào)名>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國(guó)智造CIO在線峰會(huì)
推薦專題
- 1 Intel宣布40年來最重大轉(zhuǎn)型:年底前裁員15000人、拋掉2/3房產(chǎn)
- 2 因美封殺TikTok,字節(jié)股價(jià)骨折!估值僅Meta1/5
- 3 宏山激光重磅發(fā)布行業(yè)解決方案,助力智能制造產(chǎn)業(yè)新飛躍
- 4 國(guó)產(chǎn)AI芯片公司破產(chǎn)!白菜價(jià)拍賣
- 5 具身智能火了,但規(guī)模落地還需時(shí)間
- 6 國(guó)產(chǎn)英偉達(dá)們,抓緊沖刺A股
- 7 三次錯(cuò)失風(fēng)口!OpenAI前員工殺回AI編程賽道,老東家捧金相助
- 8 英偉達(dá)的麻煩在后頭?
- 9 將“網(wǎng)紅”變成“商品”,AI“爆改”實(shí)力拉滿
- 10 AI+賦能新質(zhì)生產(chǎn)力——中國(guó)移動(dòng)政企亮相中國(guó)國(guó)際信息通信展覽會(huì)
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市