轉載從: Tech News 科技新報
當你用耳機聽歌時，有人已經開始用它表達情緒了。這聽起來有點神奇，不過真的達成了。最近有一款 AI 黑科技 C-Face 耳機，可在虛擬環境傳遞人的「喜怒哀樂」。
到底怎麼傳遞？先來看效果圖。
當你傳訊與朋友聊得正嗨，不用辛苦找表情符號，系統就會根據臉部表情自動傳送表情符號。
皺個眉頭也能一秒辨識，感覺聊天效率都變高了。
功能還不只這個，當你癱在沙發上聽音樂，懶得動卻想切歌或暫停，只需隔空說「Stop」或「Next Song」，播放裝置就會自動執行。
有網友可能會說，耳機的語音喚醒功能早不新鮮了，但 C-Face 並不是採用語音辨識技術，用戶只需動動嘴唇，無需發聲，系統就能自動辨識。
看到這裡，細心的網友可能已發現，不論情緒辨識和語音喚醒功能都有共同特點，即臉部肌肉移動。
C-Face 正是透過追蹤臉部肌肉的「臉部辨識」技術，辨識情緒或無聲語音指令。
「臉部辨識」AI 耳機
提到臉部辨識，大家可能再熟悉不過，很多智慧可穿戴裝置都有這項新技術。
但特別的是，C-Face 可說是最方便且功能強大。它沒有複雜的感測器裝置，也不限於只能辨識部分表情。
這到底是怎麼做到的？
C-Face 全稱 Contour-Face，是一款耳掛式可穿戴感測裝置，有耳塞式和頭掛式兩種。裝置均內建兩個微型 RGB 鏡頭，一種擷取紅色、綠色和光譜的數位相機。
當我們臉部出現表情時，會引發臉部肌肉伸縮，從耳朵角度看去，會使臉頰外輪廓產生變化。C-Face 內建的微型相機正是負責記錄配戴者臉輪廓變化。
至於效果如何，先看一組 3D 動圖。
雖然稍有延遲，但幾乎與配戴者唇形和表情一樣。
如果戴上口罩呢？畢竟口罩和耳機現在是出門標準打扮。但結果看來並沒有影響。
C-Face 能準確辨識臉部表情，是採用電腦視覺和深度學習模型。
微型相機擷取影像後，視覺技術和深度學習模型會重建。重建過程，捲積神經網路進一步將臉部特徵轉換為 42 個關鍵點，包括配戴者的嘴巴、眼睛及眉毛位置和形狀。
這些關鍵點將決定臉部情緒的種類。
C-Face 可將關鍵點辨識分成 8 種表情，如自然、生氣、親吻、大哭等，涵蓋愉快、中性及憤怒 3 種類別。另外 8 種表情也用來控制音樂裝置的播放選項，如「播放」、「下一首」或「音量增加」。其他用途還可能包括虛擬遊戲角色表達情感、幫助老師雲端授課時了解學生狀態等。
目前，情緒辨識效果已過實際測試。9 位參與者提供的資料，C-Face 的表情辨識準確度超過 88%，無聲語音準確度近 85%。
康乃爾大學出品，華裔教授參與研究
C-Face 黑科技產品出自康乃爾大學研究團隊，談起這項研究的初衷，負責人 Francois Guimbretiere 表示：
遠端上班或學習逐漸成為主流趨勢，希望利用最常用的耳掛式裝置，協助人們在虛擬環境無障礙交流、合作或表達情感。
從未來智慧互動與電腦介面實驗室（SciFi Lab）官網看來，這項研究的論文《C-Face：透過深度學習臉部外框重建表情》，將在 10 月 20~23 日舉行的電腦用戶介面軟體和技術研討會（UIST2020）發表。
論文作者還包括華裔教授張鋮，是康乃爾大學電腦與資訊科學學院助理教授，也是未來互動智慧電腦介面實驗室（SciFi Lab）負責人。
張鋮的研究方向是智慧感測系統與人機互動（HCI），就是研究如何收集有關人體及周圍資訊應用於各領域的現實挑戰，如智慧互動、健康感測和活動辨識等。
張鋮最先接觸此領域是在南開大學和中國科學院讀書期間，積累有形用戶介面、兒童人機介面、音樂介面等經驗。之後進入喬治亞理工學院就讀博士，研究十多種不同可穿戴裝置的匯入技術，涉及自下而上構建感測系統、物理建模、硬體原型設計、資料及演算法處理等。他已在人機互動和普適計算領域的頂級會議和期刊發表十多篇論文（包括兩座最佳論文獎），獲得超過 10 項美國和國際專利。
對 C-Face 裝置，張鋮表示還有局限性，如耳機的電池容量。團隊計劃開發更低功耗的感測技術，同時也會進行更多實際應用場景測試。
- Earphone tracks facial expressions, even with a face mask
- Cornell researchers created an earphone that can track facial expressions
- Earphone tracks facial expressions, even with a face mask