面部表情是眉毛、眼睛和嘴角等區域的面部肌肉運動傳遞自身情緒感受的外在表達。除了常見的自然表情,人們還可以表現出偽裝的面部表情從而達到掩飾或抑制內心真實情緒狀態的目的。偽裝表情時有發生:比如家長面對著孩子潦草的作業心里很窩火,但為了不挫傷孩子的自信心,故作開心地繼續輔導;又比如一些窗口部門的工作人員,即使遇到什么悲傷的事情,也要始終保持微笑服務。
構建高質量的偽裝表情數據庫有助于系統深入地研究偽裝表情的表達特點和識別算法。腦與認知科學國家重點實驗室傅小蘭研究組最新發表一項研究,構建了一個實驗室場景下的偽裝表情數據庫,并利用機器學習算法對數據庫進行基準評價,如圖1所示。

圖1. 偽裝表情的采集與計算識別過程
在實驗開始前,被試需要進行練習,熟悉六種基本表情(高興、悲傷、憤怒、厭惡、恐懼、驚訝)的表達特點。正式實驗過程中,被試觀看情緒誘發視頻片段,并在視頻播放快結束時根據表情圖片線索表達與視頻誘發情緒一致或不一致的表情。因此,視頻誘發的情緒類型與要求其表現的表情相互結合得到36類表情。隨后,研究者采用面部動作編碼系統(Facial Action Coding System, FACS)對采集的視頻數據進行人工編碼,數據庫共包含22名被試的778段表情序列。
在基準評價方面,研究提取表情序列的LBP-TOP(Local Binary Pattern from Three Orthogonal Planes)特征,并結合支持向量機(support vector machines, SVM)進行分類(如表1)。對于特征提取中的不同LBP編碼半徑設置,利用留一被試交叉驗證得到偽裝表情和非偽裝表情分類最高識別正確率為78.80%。這表明在采集的偽裝表情數據庫中,對表情序列是否存在偽裝具有較高的可區分性。另外,對視頻誘發的情緒分類(6E)和要求被試表達的表情分類(6R)的最高識別正確率分別為26.83%和47.77%。對真實誘發情緒的識別率僅高出隨機水平約10%,這表明擺拍表情的存在對識別真實情緒造成很大困難。此外,研究還利用卷積神經網絡自動提取表情圖片的特征信息,進一步提升了表情的識別率。

表1. 特征提取不同編碼半徑下的表情識別準確率
該研究有助于深化對人類復雜表情的理解。該表情數據庫也已在研究組網站發布,可供心理學、計算機科學等多學科感興趣的研究者使用,將大大促進心理學與計算機科學在該領域進一步融合。
心理所博士生莫凡和張志豪為論文的共同第一作者,心理所副研究員趙科、研究員傅小蘭為共同通訊作者。研究成果已發表于IEEE Access。