SCI论文（www.lunwensci.com）:
摘要：近几年，人工智能技术不断发展，表情识别技术也日益成熟，为满足教育的信息化需求，将表情识别应用到教育中，提高了教育的高效性和便捷性。基于此，以表情识别技术在教育领域的应用与发展为主题，进行了全方位、多角度的论述。本文首先对人脸表情识别技术做了简单概述，详细梳理了表情识别技术的发展，以及其在教育主要是在课堂教学下的应用现状，并讨论了表情识别技术在教育教学中的进一步发展。
关键词：表情识别；课堂教学；学生评价
本文引用格式：胡敏等.表情识别技术的教育应用[J].教育现代化，2019，6（75）：100-102.
近年来，人工智能的迅猛发展不断影响着科技工业的发展和人们日常生活。教育部在2018年提出了针对信息化教育进行改革改进的计划[1]，该计划强调非常有必要最大化地利用新发展的技术，例如大数据和人工智能。因此，促进人工智能在教育中的应用是一种必然的发展趋势。
课堂环境下学生的学习状态评价是教育中的一个重要环节，然而，目前的评价方法是传统的基于卷面的测试。2013年，教育部对中小学教育评估进行了讨论[2]，强调工作重点应放在思考和改进教学评估方法上，并主张不仅仅依靠纸笔考试和观察等方法，而应通过从理论的角度以及利用对数据进行分析来进行科学的综合评价。随着人工智能的关键技术发展，面部表情识别技术在“人工智能教育”领域有着重要作用。可分析学生的学习动态，给老师提供及时反馈。从微观角度来看，实时反馈可以帮助教师更全面，获得同学们的及时表达，从而推断同学们的学习情况和提高课堂教学质量；从宏观的角度来看，它促进了技术支持教学的发展，使教学方法更加科学和现代，并加速了教育现代化的到来。
一 表情识别技术的发展
面部表情是人们日常交往中的一种非言语交际方式。心理学家Mehrabian[3]研究在人际交往中言语神态等对于交流质量的影响比重，提出了7%+38%+55%的交流法则：言语本身表达出的意思占7%，声音语调为38%，身体语言、表情占55%。因此，面部表情在人们之间的相处扮演着不可或缺的角色。美国著名心理学家Ekmann和Friese将人类的表情分为七个基本表达：悲伤、自然、快乐、愤怒、惊讶、厌恶和恐惧。[4]每个表达都可以反映人类特有的心理活动，通过表达能准确识别人的心理情绪。因此，面部表情识别是计算机视觉和人工智能研究方面的一个非常具有吸引人的研究，具有广阔的应用前景，例如远程教育、安全驾驶、机器人人工智能、情感语音研究、交通出行、辅助教学系统等领域，这些应用也不断推动着人脸面部表情识别技术的发展。人脸表情识别流程主要是：人脸检测、特征提取和表情识别。
（一）人脸检测
人脸检测有基于肤色模型和基于统计理论的两种方法。其中，Hsu R-L等人[5]使用改进的照明补偿方法和非线性颜色变化的方法来找到图像中的肤色区域，并用于面部特征准确地定位人脸区域；Kherchaoui S等[6]的工作是组合肤色和模板，先用肤色模型找到脸部区域，然后用模板匹配来定位人脸区域。这种检测方法速度比较快，但易受到背景颜色的影响。基于统计的方法主要有支持向量机（SVM）和AdaBoost方法[7]等。其中，AdaBoost是最常用的，有两个特点：速度快和高精度。
（二）特征提取
特征提取将点阵图像转换为图像的更高形象表示——如形状、运动、颜色、纹理、空间结构等[8]。特征提取常用几何特征提取、纹理特征提取、运动特征提取等。
几何特征的提取即针对二维图像的人脸表情的显著特征对面部五官进行定位。基于该方法的模型有主动形状模型（ASM）与活动外观模型（AAM）。ASM最早由Cootes[9]提出，该算法具有较高的精度和鲁棒性，但容易达到局部最小。改进之后提出了AAM，该类提取方法容易依赖分类信息，当信息丢失时识别精度不高。然后结合两种算法的优点提出了CLM，CLM同时具备速度快和精度高的优点。纹理特征是面部表情图像底层信息的反映，常用的方法有局部二值模式（LBP）。LBP用图像的局部灰度变化来反映局部纹理特征，并用特征值来表征图像的局部纹理特征。Guo等[10]提出了(FCL-LBP)算法和(disCLBP)算法，经过最大类间距与最小类内间距的选取，拥有更好的鲁棒性。周宇旋等[11]对disLBP算法进行改进，得到了更具有区分性的表情特征。基于运动的特征提取方法，Shreve团队提出的光流法能区分宏表情与微表情。赵中原提出的基于差分定位和光流特征提取的算法，降低了分类难度，还有较高的识别率[12-13]。
（三）表情分类
有两种类型的表达分类算法，分别是基于传统的机器学习算法和基于深度学习算法等。基于传统机器学习的算法包括Bayes分类算法，支持向量机SVM以及隐马尔科夫模型HMM。徐文晖等[14]使用SVM分类器实现对连续视频序列的识别，但是在大样本上提取特征的性能较差。吴雪利用双层隐马尔可夫模型，改进了模型训练方法，充分利用所有训练样本的信息，在CASME和SMIC数据库上的总体识别率达到86.72%[15]。一般而言，传统的学习算法的特征提取是基于提取出的手动设定功能，其中失去了原始图像的许多细节。
基于深度学习的算法主要包括卷积神经网络CNN和深度信念网络DBN。LeCun等[16]提出的基于梯度反传播算法的卷积神经网络模型用于手写数字识别，取得了不错的效果。杨雪[17]基于CNN的特征提取算法激活了更多的节点，如眼角和嘴角，可以学习表现力更高的表情特征，提高了识别率。刘宇灏[18]设计了一个DBN网络，由两层受限的Boltzmann机器网络和一个顶级反向传播网络组成。基于深度置信网络DBN网络的表达检测也有很好的效果。
二 表情识别技术的教育应用
随着人脸识别技术的日益成熟，在各行各业都有着不错的发展，其中，在教育中的运用变得更加的普及。其中，基于人脸表情识别的课堂教学系统对高效的课堂教学有着重要的现实意义。面部表情识别系统能准确判断面部表情的差异，例如开心和悲伤、认真和散漫等。因此在课堂教学的过程中，通过人脸表情识别系统，能够将学生的不同表情进行对比，从而发现不同的表情，进而了解课堂教学中的学生听课率，避免学生小动作或者不认真听讲。
人脸表情识别技术系统首先应用到教育教学中的领域是远程教育，希腊学者Fatahi等[19]为了了解学习者在学习过程中的各种情绪状态和认知情境，2009年提出了一种具有情绪认知的自我测试系统。Zanavari A[20]等建立了一个个性化的在线学习系统，以观察学习者的学习行为、学习情绪和学习的状态。Noori F等[21]将学习者个性特征和情绪纳入研究范围，提出了一个新的网络教学模型。Boban Vesin等[22]提出了一种新的教学模式，通过学习风格的认可和推荐混合教学策略，为学习者提供个性化服务。王志良等[23]开发了一个智能化E-learning系统，该系统基于Agent技术和人工心理学理论，通过Agent动画反馈，可帮助学生进行个性化学习。
樊春玲，丁玉环等[24]在2012年设计了一种用于视频流的表情识别系统，该系统的人脸表情检测部分是通过基于人脸肤色信息和模板匹配的算法实现的。特征提取使用局部二值方法实现。它可以在课堂上使用，分析和检测学生的数量，并保存学生的面部图像信息以匹配身份，为教学互动提供基础。梅江林[25]于2015年设计的基于人脸表情识别的“EIMTS”系统，该系统能通过匹配表情-教学策略数据库来调整教学策略，并通过反馈来优化表情-教学策略数据库。人脸检测部分使用Open CV提供的Harr人脸分类器来实现，特征提取的部分采用独立成分分析(ICA)算法进行，将人脸情感分为：平静、高兴、沮丧、兴奋、生气，基于JAFFE数据库进行检测，具有不错效果。
2017年，段巨力[26]提出了一种学生上课专注度的分析评测系统，基于机器视觉技术，该系统提出了一个侧脸算法、抬(低)头算法、眼睛张合度算法，通过获取面部的表情数据来检测学生的注意力是否集中。人脸检测采用Harr人脸分类器，特征提取使用Adaboost方法，与先前的评价系统相比，它提升了人脸识别的成功率，同时减少了对注意力集中程度的错误识别比例，从而提高了注意力集中度的判定准确度。
2018年，徐蔓，张铷钫[27]设计了动态人脸识别的课堂管理系统，动态地对人脸表情进行识别，检测学生缺席、玩手机和睡觉等课堂不专心情况，采用模块式检测，一定程度上实现了课堂考勤和课堂管理。
三 总结与展望
人工智能是时代进步的标杆，“人工智能+教育”是时代发展的技术理念。随着表情识别技术的日益成熟，越来越多的表情识别技术方法被应用于教学研究，有效地推动“人工智能+教育”发展，为后续的研究者起到了铺垫作用。对于表情识别技术在课堂教学中的应用，接下来仍有几个比较关键的研究要点：
（一）完善学习表情情感库
目前的学习情绪模型是建立在六种基本表情的基础上展开研究的，但在学习过程中，学习者的表情更为丰富，还有其他情感有待进一步研究。比如学生由于长时间的学习，会出现疲惫状态。所以需要建立更丰富更科学的学习表情图片库。
（二）提高表情识别技术
目前基于静态图像的表情识别技术日趋成熟，但课堂上学生的表情是动态变化的，基于动态视频的人脸识别效度仍有待提高，需要进一步完善适用于在课堂环境中表情识别的算法，使得识别结果更准确且速度更快。
参考文献
[1]中华人民共和国教育部.教育部关于印发《教育信息化2.0行动计划》的通知.[EB/OL].（2018-04-18）[2019-03-20].http://www.moe.gov.cn/srcsite/A16/s3342/201804/t20180425_334188.html.
[2]教育部.关于推进中小学教育质量综合评价改革的意见[EB/OL].（2013-06-08）.http://old.moe.gov.cn//publicfiles/business/htmlfiles/moe/s7054/201306/xxgk_153185.html.
[3]A.Mehrabian.Communication without words.Psychology Today,1968,2(4):53-56.[4]王信,汪友生.基于深度学习与传统机器学习的人脸表情识别综述[J].应用科技,2018,45(1):65-72.
[5]Hsu R-L,Jain A-K.Face Detection in color image[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2012,24(5):696-706.
[6]Kherchaoui S,Houacine A.Face detection based on a model of the skin color with constrainsand template matching[C].Proceeding of the 2010 International Conference on Machine and Web Intelligence(ICMWI),2010:469-472.
[7]Viola P,Jones M.Rapid object detection using a boosted cascade of simple feature[C].Proceeding of the 2011 IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR 2001),2011:511-518.
[8]张利伟,张航,张玉英.面部表情识别方法综述[J].自动化技术与应用,2009,28(1):93-97+92.
[9]Cristinacce D,Cootes T．Feature Detection and Tracking with Constrained Local Models[C].Proceedings of the British Machine Vision Conference 2006.Edinburgh,UK:BMVC,2006,41:929-938.
[10]Guo Y,Zhao G,Pietikäinen,M.Discriminative features for texture description[J].Pattern Recognition,2012,45(10):3834-3843.
[11]周宇旋,吴秦,梁久祯,等.判别性完全局部二值模式人脸表情识别[J].计算机工程与应用,2017,53(04):163-169+194.
[12]Wang S J,Yan W J,Zhao G,et al.Micro Expression Recognition Using Robust Principal Component Analysis and Local Spatiotemporal Directional Features[M].Springer International Publishing,2014:325-338.
[13]赵中原.基于微表情特征的表情识别研究[D].华北电力大学(北京),2016.
[14]徐文晖.面向视频序列表情分类的LSVM算法[J].计算机辅助设计与图形学学报,2009,21(4):542-548+553.
[15]吴雪.基于单演二值模式的微表情识别研究[D].河北工业大学,2015.
[16]Lecun Y L,Boser B,Denker J S,et al.Handwritten Digit Recognition with A Back-propagation Network[J].Advances in Neural Information Processing Systems,1990,2(2):396-404.
[17]杨雪.基于深度学习的微表情特征提取算法设计与实现[D].北京交通大学,2017.
[18]刘宇灏.微表情识别的理论和方法研究[D].东南大学,2016.
[19]Fatahi S,Kazemifard M.Design and Implementation of an E-Learning Model by Considering Learner’s Personality and Emotions[C].Advances in Electrical Engineering and Computational Science.Springer Netherlands,2009:423-434.
[20]Tzanavari A,Tsapatsoulis N.Affective,Interactive,and Cognitive Methods for E-Learning Design:Creating an Optimal Education Experience[J].2010.
[21]Noori F,Zadeh S S.Designing a University website by considering user’s emotion and using Kansei engineering[C].International Conference of Cognitive Science,2016:66-71.
[22]Vesin B,Ivanovic M，KlašnjaMili evi A,et al.Rule-Based Reasoning for Building Learner Model in Programming
Tutoring System[C].Advances in Web-Based Learning-ICWL 2011.Springer Berlin Heidelberg,2011:154-163.
[23]解迎刚,王志良，永井正武,等.基于Agent技术的人性化E-Learning系统研究[J]．计算机工程,2007(06):41-44.
[24]樊春玲,丁玉环,隋业龙.基于LabVIEW平台的教室场景内的人脸识别系统[J].青岛科技大学学报(自然科学版),2012,33(5):535-540.
[25]梅江林.基于脸部表情识别的文献检索课教学效果探讨[J].农业图书情报学刊,2015,27(06):106-109.
[26]段巨力.基于机器视觉的学生上课专注度的分析评测系统[D].浙江工商大学,2018.
[27]徐蔓,张铷钫.基于动态人脸识别的管理系统在学生课堂的应用[J].电声技术,2018,42(9):6-7+32．
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！ 文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jiaoyulunwen/29303.html
