来源：e成科技2020-03-24 14:00:00 热度：

当机器有了“读心术”，如何一眼看透候选人小心思？

AI中国网 https://www.cnaiplus.com

还记得几年前你领养的小冰吗？

上知天文下知地理，为你写诗、陪你闲聊，作为一款人工智能机器人，微软小冰和人类的聊天类似度已经达到90%以上；现在，人工智能助手Siri和Alexa也可以通过百万种“有情绪的声音”，感知人们焦虑、兴奋、愤怒等情感。这让机器和用户迅速建立起信任关系，变得更加体贴和感性化，也带来更多乐趣和人性化服务。

这背后都离不开情感计算思想的注入。

▲ 人工智能助手Alexa

随着情感计算技术快速发展，人脸表情识别、声纹识别、人机情感交互等人工智能技术已经广泛应用到诸多场景，如个性化教育、临床医学、心理分析、呼叫中心、金融风控、安全驾驶、情感营销等等。

现在，这些黑科技也已经被应用到面试场景中。

由于疫情的原因，今年的面试纷纷变成了“无接触”、“线上化”。

候选人面对的不再是真人面试官，而是能“洞察人心”的人工智能面试官。

人工智能面试官可以在短短十几分钟的面试中，轻松获取几十万个数据点，包括候选人回答内容、候选人表情，乃至心率波动等细微而重要的信息。通过多媒体分析技术，对这些不同模态信息综合分析，深度挖掘候选人性格、情绪、动机等潜在的特质和素质，从而洞察候选人专业能力及综合胜任力。

▲ 图片来自互联网

机器如何察言观色？

人工智能面试官如此“明察秋毫”，离不开这些黑科技——基于多媒体数据的情感计算技术和微表情识别技术。

情感计算(Affective computing)的概念大约是在1997年由MIT媒体实验室Picard教授所提出，她指出情感计算是与情感相关，来源于情感或能够对情感施加影响的计算。

一般而言，情感计算包含了面部表情、姿态变化以及语音理解等方面的分析计算。情感计算是一项综合性的能力，其中既包含了对单一模态数据所蕴含的情感信息的挖掘，又引入了多模态数据所共同表征的情感信息的融合处理。而在整个情感计算的过程中，各个环节都会借助于机器学习和人工智能的技术来提速增效。

表情也是人类情感表达的主要方式，在人与人的沟通交流中，表情的作用占了55%。通过面部表情分析情感状态，可以获取大量有关情感变化的信息，相比获取其他情感信号更加自然可行。而与基本表情不同的是，微表情是人类试图压抑或隐藏真实情感，是不能自主控制的。

微表情（Micro-expression）是一种一闪而过的，下意识的行为，甚至清醒地做表情的人本身和观察者都察觉不到。比起有意识做出的表情，“微表情”更能体现人们真实的感受和动机。

▲ 人类的微表情

微表情具有三个特点：持续时间不超过1/5秒，能反映人的真实情感，在全人类普遍存在。由于微表情能够表达被压抑和掩藏的真实情绪，因此往往被视为很好的谎言和动机识别的有效线索。

尽管微表情分析具有普遍存在的特点，但对于未经专门训练的普通人来说，识别微表情也非常困难，因为它持续时间太短，且解释性体系复杂。

机器学习的方法能够利用对高帧率视频的处理能力，很好地应对微表情持续时间太短这一难题。常见的机器学习方法一般是先基于人脸图像，提取一些特征（如面部关键点等），然后再将这些特征作为输入，通过机器学习模型映射到对应的面部动作（如挑眉、撇嘴等），最后通过一些规则来对应到相应的微表情结果。

美国加州大学心理学教授 Mehrabian 曾提出，感情表达=7%的言词+38%的声音+ 55%的面部表情（Mehrabian,1968）。在面试场景中，能够反映候选人情绪变化的不只有面部活动，还有候选人说话语音语调的变化，乃至一些生理变化（如紧张时心跳加快），因此在「e面通」的算法技术方案中，我们综合利用了这三种不同维度的信息：

针对视觉信息，我们采用了最前沿的深度神经网络模型结构来对候选人脸部表情变化进行识别，模型能够由图像输入直接映射到最终的情绪输出，相比于传统的级联模型，减少了产出中间结果所导致的信息损耗。
针对音频信息，我们采用了另一种时序卷积神经网络模型，基于时间轴上的声音波形输入判断出候选人在时间维度上的情绪变化情况。
针对生理体征，我们目前采用了基于图像的心率检测方案，不需要候选人佩戴任何额外设备，检测过程中完全无感知：先通过我们的视觉模型在候选人脸部选择一些ROI（Region-Of-Interest），然后算法会自动跟踪这些ROI中皮肤所表现出的颜色、透光率等特征的周期性变化，而这种周期性变化在经过傅里叶变换等一系列处理后，能够对应到皮肤下毛细血管血氧含量的周期性变化，最终映射到候选人的心率。

相关文献资料表明，正向积极的情绪（开心、兴奋等）在图像信息中表达得更明确，而负向消极的情绪（难过、沮丧等）则在音频信息中更容易捕捉。因此，在得到了三个维度的信息特征后，我们通过统一的算法模型来融合所有维度的结果，取长补短，最终形成对候选人在面试过程中所表现出来的综合能力的评判。

当机器拥有情商，如何化身HR神助攻

在具备了以上几项黑科技后，人工智能面试官「e面通」就拥有了“读心术”，可以对候选人精准而深度地“察言观色”。那么它可以得到哪些信息呢？让我们从「e面通」的产品使用界面中来一探究竟吧！

▲下一代AI面试产品「e面通」界面

如上图所示，经过对候选人面试视频的分析，智能面试官「e面通」可以得到候选人在面试过程中的实时情绪分布、心率变化情况，从动态的角度对候选人的心理素质、抗压能力，乃至描述可信度进行判断。此外，当打开实时渲染的「人脸识别」功能后，「e面通」还能够将计算机视觉算法识别出来的人脸关键点以及面部结构分析结果实时渲染到视频中，辅助微表情的判断。

除动态分析以外，通过对多媒体综合分析技术等黑科技运用，人工智能面试官可以产出对候选人在面试过程中的整体静态分析。