用AI使蒙娜麗莎動起來，甚至是跟著你的表情一起運動，隨著技術(shù)的發(fā)展，這些都已經(jīng)不是什么新鮮事了。

這些面部追蹤系統(tǒng)，往往都需要一定精度的攝像頭。

但是，如果文摘菌告訴你，這些攝像頭其實全都可以撤掉呢？

別急著反駁，這已經(jīng)被康奈爾大學(xué)的研究人員實現(xiàn)了，整個過程他們沒有用到過一個面對用戶正臉的攝像頭，就成功地實現(xiàn)了面部追蹤，至于效果，好像也沒有差到哪兒去。

按照慣例，我們還是先看看追蹤效果如何：

既然沒有用到攝像頭，那我們來試試戴上口罩的效果：

這時候可能有人想問了，不用攝像頭，怎么追蹤到的面部表情？

文摘菌給一個提示，看到他們戴在耳朵上的儀器了嗎？是的，他們主要使用的，其實就是那副耳機，用戶的表情就能被實時轉(zhuǎn)換為表情。

這種方法比用攝像頭的“傳統(tǒng)方法”更好的一點在于，即使戴著口罩，系統(tǒng)也可以追蹤用戶的面部表情，這樣的話人們就不用專門取下口罩了。

這個系統(tǒng)被取名為C－Face（Contour－Face）。

康奈爾大學(xué)SciFi實驗室主任、C－Face論文的高級作者張鋮在一份聲明中說：“該設(shè)備比任何現(xiàn)有的耳掛式可穿戴技術(shù)都更簡單、更引人注目，功能也會更強大。”

“在以前的旨在識別面部表情的可穿戴技術(shù)中，大多數(shù)解決方案都需要在面部上安裝傳感器，但即使用了如此多的傳感器，不少系統(tǒng)最終也只能識別有限的一組離散面部表情�！�

抓取42個特征點，C－Face還支持無聲命令和聊天表情發(fā)送 在這個項目中，研究人員也不是完全沒有用到攝像頭，只不過他們用得及其隱蔽。 可能已經(jīng)有“陳獨秀”想要搶答了，注意觀察使用者的耳朵下方，左右分別配備了一個RGB攝像頭，這些攝像頭能夠在使用者移動面部肌肉時，記錄下臉頰輪廓的變化。        

除了入耳式耳機，頭戴式耳機也同樣可以安裝攝像頭，進行面部識別工作。        

在使用計算機視覺和深度學(xué)習(xí)模型重建圖像后，卷積神經(jīng)網(wǎng)絡(luò)能夠分析2D圖像，將面部特征轉(zhuǎn)換為42個面部特征點，這些特征點分別代表了使用者的嘴巴、眼睛和眉毛的位置和形狀。  有了詳細的臉部追蹤數(shù)據(jù)，C－Face可以將這些數(shù)據(jù)轉(zhuǎn)換成八種不同表情，包括中立或憤怒。 不僅如此，C－Face還支持使用面部表情控制音樂應(yīng)用程序上的播放選項。 手機在桌上充電，但是現(xiàn)在只想攤在沙發(fā)上不想動，你甚至不用說出聲音，就能播放歌曲：        

或者，你在聊天的時候想要發(fā)送表情，但是死活找不到表情包了，怎么辦？ 這個時候，你可以直接做出相關(guān)表情，系統(tǒng)就能識別并直接發(fā)送出去，簡直不要太方便：        

      不過，由于受到新冠疫情的影響，研究人員目前只在9名參與者的情況下測試了C－Face。盡管數(shù)量不大，但表情識別的準(zhǔn)確度超過了88％，面部提示的準(zhǔn)確度超過了85％。 同時，研究人員發(fā)現(xiàn)，耳機的電池容量限制了該系統(tǒng)的持續(xù)作用，他們正在計劃開發(fā)功耗更低的傳感技術(shù)。 深耕于人機交互領(lǐng)域的華人教授張鋮
在這個項目的研發(fā)團隊中，文摘菌發(fā)現(xiàn)了一位華人教授的身影——張鋮，他也是這個研發(fā)團隊的負責(zé)人。 根據(jù)張鋮個人網(wǎng)站介紹，他目前是康奈爾大學(xué)計算機和信息科學(xué)的助理教授，同時也是未來交互智能計算機接口（Smart Computer Interfaces for Future Interaction，SciFi）實驗室主任。        

 從南開大學(xué)的本科，到以中國科學(xué)院軟件研究所的優(yōu)秀畢業(yè)生身份畢業(yè)，再到前往美國佐治亞理工學(xué)院Ubicomp實驗室繼續(xù)深造，張鋮始終對普適計算（ubiquitous computing）和人機交互（HCI）懷有濃厚的興趣。 在中國科學(xué)院期間，他就針對有形用戶界面、兒童人機交互、音樂界面等進行了初步研究，獲得了第一手的研究經(jīng)驗。 在張鋮的博士論文中，他介紹了10種用于可穿戴設(shè)備的新型輸入技術(shù)，有些利用了商用設(shè)備，有些采用了新的硬件。與大多數(shù)人不同，張鋮習(xí)慣于從頭到尾建造傳感系統(tǒng)，包括理解物理現(xiàn)象、構(gòu)建硬件原型、設(shè)計形式因素、處理數(shù)據(jù)和設(shè)計算法（機器學(xué)習(xí)或基于物理的建模）。 截至目前，張鋮在人機交互和普適計算領(lǐng)域的頂級會議和期刊上發(fā)表了十多篇論文，還獲得了兩項最佳論文獎，同時他還身懷超過10項美國和國際專利。 如果有同學(xué)對人機交互感興趣，可以多逛逛SciFi實驗室主頁，他們還有好多有意思的項目～