基于 MHI 与 LBP 表情识别的辅助异常行为识别论文

SCI论文（www.lunwensci.com）

　　摘 要 ：为了进一步提高家居环境中异常行为的在线识别能力,将运动历史图像与表情识别相结合,提出了一种基于 MHI(Motion History Image) 与 LBP(Local Binary Pattern) 表情识别的辅助异常行为识别方法。该方法通过运动历史 图像辅助识别运动轨迹,同时利用 LBP 提取人脸特征,进行面部表情识别,进而辅助识别异常行为状态。实验结果表明,本文 方法对异常行为的识别率有一定的提升。

　　【Abstract】： In order to further improve the online recognition ability of abnormal behavior in the home environment, a method of auxiliary abnormal behavior recognition based on MHI (Motion History Image) and LBP (Local Binary Pattern) expression recognition is proposed by combining motion history images with expression recognition . This method uses motion history images to assist in recognizing motion tracks, and LBP to extract facial features for facial expression recognition, thus assisting in identifying abnormal behavior states. The experimental results show that this method can improve the recognition rate of abnormal behavior.

　　【Key words】： MHI;LBP;expression recognition;abnormal behavior recognition

　　0 引言

　　随着计算机硬件处理能力的提高和计算机视觉技术 的出现,人们对计算机实现智能监控的期望已成为现 实。同时随着经济发展迅速,智能家庭监控受到越来越 多的关注,在服务、陪护老人、康复期的病人等方面有 广阔的发展空间。能实时监控老人活动状态的新型养老 模式,即智能养老系统,不仅能让老人在养老院有舒适 安全的生活,也让老人的子女能随时关注父母的活动状 态,不必担忧父母走失等情况的发生,充分满足了子女 对老人的关注与远程监控。

　　本文通过对异常的行为识别的辅助方法进行研究, 将理想的识别方法与具体家居环境结合,通过运动历史 图像和表情识别作为辅助判断,提升家居环境中异常行 为的识别效果。

　　1 运动历史图像

　　对于室内老人的运动监控,运动轨迹的记录和运动 姿态的描述都是不可或缺的。运动轨迹就是描述在一个 空间内人的走动路径,而运动姿态人体运动是身体四肢 运动的状态,比如说：一个人坐下和站起两个动作,都 是在站立和坐着两种状态之间的运动,这种运动如果单 独地去用识别算法进行建模描述,其结果都是一样的; 但在实际情况下,这是两种运动,运动的方向刚好相 反。所以,正确地对这些行为进行描述就需要使用运动 历史图像(Motion History Image)的方法 [1]。

　　运动历史图像是一种基于视觉的模板方法,这种方 法在对一个时间段内的运动位置变化通过图像亮度进行 描述。运动历史图像通过对每一帧图像的灰度值不同表 示一个视频序列相对于最近的运动的过程。也就是说,对于整个视频序列的每一帧,越接近当前帧,这一帧中 像素的灰度值越高 [2]。

　　设 H 为运动历史图中帧的像素强度值,可以用 H(x,y,t) 更新函数计算得出如式(1)所示：

　　式(1) 中, (x,y) 表示当前帧的像素点, t 表示当前帧在视频序列的位置;τ 为持续时间,即运动历史图对运动过程的刻画时间范围;6 为衰减参数;Ψ (x, y, t ) = 1 为更新函数,更新函数可以通过帧间差法表示,如式 (2)所示：

　　对于视频序列生成运动历史图像的时候,尤其要注 意 3 个参数的配置, τ, 6. ξ。

　　1.1 持续时间 τ

　　对于运动历史图像来说,视频序列中动作持续的帧 数大于持续时间 τ,那么就会有一部分帧的信息丢失,如图 1 所示。

　　运动目标正在向左跑步的运动视频,分别取 τ=0.1、 0.5、1、10. 取衰减参数 6 为 1 时,第 145 帧的运动历 史图。可以看出,在 τ 为 0.1、0.5 时, 图像丢失了从左 侧进入视频的运动信息; 在 τ 为 10 时,持续时间设置 过大,最早的运动图像像素强度和最近的像素强度相差 不大,很难分辨出运动轨迹 [3]。

　　1.2 衰减参数 6

　　合理地设置衰减参数 6 对运动历史图像的效果也非 常重要。在视频序列中,对于已发生运动区域的一个特 定像素点,若该点转为静止状态或运动状态没有改变, 则运动历史图中该像素的强度值减少 6 ，如图 2 所示。

　　图 2 为运动目标正在向左跑步的运动视频,分别取 6=1、3、5、10. 取持续时间为 1 时, 第 145 帧的运动 历史图, 6=1 时,衰减过慢, 导致最开始运动的像素能 量没有衰减,和最近的像素能量差别不大,不易看出运 动轨迹;而 6=5、10 的时候衰减过快,丢失了部分运动信息,无法全面地判断运动的轨迹。

　　1.3 帧差阈值 ξ

　　帧差阈值直接对更新函数 Ψ(x, y, t ) 有影响,这样间接影响到运动历史图像的获取效果。如图 3 所示为帧 差阈值 ξ=30、50、75 时运动历史图像的显示效果。

　　可以看出,当阈值过小时,无法较好地区分前景和 背景,导致人体轮廓变大;而阈值过大时,人体轮廓则 会出现空洞,这个空洞随着阈值的增大而变大,从而影 响运动历史图的提取效果 [4]。

　　2 基于 LBP 异常表情识别的辅助判断

　　对于室内老人的异常行为判断,单纯使用肢体的运 动状态去进行监控识别,在异常动作明显的情况下,系 统可以做出准确的判断识别。但是,当肢体的运动介于 正常和异常之间的时候,系统很难得出一个准确的判 断,这种情况下,如果系统提示出现异常行为进行报 警,可能会是一个错误的信息,降低了系统鲁棒性。所 以, 本文引入了通过 LBP 的异常表情识别对整个异常 行为系统进行辅助判断,这种辅助判断可以有效地提升 系统的鲁棒性。

　　对于表情的检测,首先需要做的是确定人脸的位 置,也就是人脸识别;然后对于提取的人脸信息,再通 过配置特征对表情进行分类。本文采用的是 CK 和 CK+ (Cohn-Kanade Dataset) 数据库, 这个数据库的每一 组表情都是由中性表情(无表情)到某一种表情的峰 值,在表情特征训练的过程中,将各种表情提取出来放入不同的文件夹,然后分别对这些表情进行特征训练, 然后得到一个完整的表情特征集合,然后通过 SVM 对 测试表情进行分类。

　　2.1 LBP 特征提取

　　LBP[5] (Local Binary Pattern, 局 部 二 值 模 式 ), 是通过局部纹理特征对图像进行描述的。最原始的 LBP 特征定义如下：对图像像素每个 3×3 的窗口中,以中 心的像素的灰度值为阈值,周围的 8 个像素的灰度值大 于中心像素的标记为 1.小于的标记为 0.则这个窗口 中的 8 个像素值可以表示为一个 8 位的二进制数, 以左 上角的像素为最高位,顺时针依次计数,可以得到这个 二进制数 [6]。

　　如图 4 所示,这个二进制数就是中心像素的 LBP 值,因为这个 LBP 值为 8 位二进制数,所以最大值为 255.最小值为 0.也就能定义在单通道灰度图的黑色 到白色之间(0 ~ 255)。如此方法遍历整个图像的所有 像素点,就可以获得这个图像的 LBP 特征。

　　通过 LBP 特征进行提取的步骤：

　　(1) 首先将检测窗口划分为 16×16 的小区域(Cell) ;

　　(2)对于每个 Cell 中的一个像素,将相邻的 8 个 像素的灰度值与其进行比较,若周围像素值大于中心像 素值, 则该像素点的位置被标记为 1. 否则为 0.这样, 3×3 邻域内的 8 个点经比较可产生 8 位二进制数,即 得到该窗口中心像素点的 LBP 值;

　　(3)然后计算每个 Cell 的直方图,即每个数字 (假定是十进制数 LBP 值) 出现的频率,然后对该直方 图进行归一化处理;

　　(4)最后将得到的每个 Cell 的统计直方图进行连 接成为一个特征向量, 也就是整幅图的 LBP 纹理特征 向量,如图 5 所示。

　　2.2 表情辅助判断

　　在获得表情识别结果的时候,就可以通过表情结果 对人体的行为做出辅助的判断,由于室内环境有限,即使安装多个摄像头的条件下,还是会存在一定时候无法 拍摄到人脸的情况,所以系统会以识别人体动作为主要 依据,在检测到人脸的情况下再对人脸进行表情识别, 获得的识别结果来辅助判断人体运动是否出现异常 [7]。

　　3 实验结果与分析

　　本文采用 2 个实验分别验证：(1) LBP+SVM 的 表情识别模块;(2)表情识别及运动历史图像辅助的 异常行为检测模块。实验运行的硬件环境： 电脑配置 为 i5-4590. 内存大小 8G, 核心显卡 HD4600;软件环 境：Windows 7 操作系统,集成开发环境为 QT,包含 OpenCV-2.4.11、HCRF2.0 函数库 [8]。

　　实验 1：LBP+SVM 的表情识别模块。

　　本实验采用 CK+ 数据库作为训练测试样本,这个 数据库包含 123 个人的表情。如图 6 所示,实验随机 抽选 60 个人的表情作为训练样本,对样本数据提取 4 种表情, 分别是：开心(Happiness)、愤怒(Anger)、 痛苦(Sadness)、中性(Neutral), 将这 4 种表情提取 的 LBP 特征向量按 0. 1. 2. 3 进行类别标签编号,然 后加入 SVM 训练器中,按照 OVO SVMs 模型进行训 练。然后从剩余部分选取 40 个人的峰值表情作为测试 样本,通过 SVM 预测的结果进行投票选出最接近的标 签类别,对应表情的标签类别得出实验结果。

　　如 表 1 所 示, 对 于 Happy、Anger、Sadness 表 情的识别效果都还不错,对于正确的表情占大多数,而 Neutral 表情的识别误差很大。这是因为数据库中每一 种表情都是从 Neutral 开始然后逐渐变化到某一种表情的峰值,所以 Neutral 表情总是会向某种表情的趋势, 所以识别的误判率很高。对于实时性方面,输入表情数 据统一为 200×200 的图片组合成的视频,对每一张图 片的识别时间 10 ~ 15ms,可以看出算法的效率完全 可以满足实际应用的需求。

　　实验 2：表情识别及运动历史图像辅助的异常行为 检测模块。

　　实验 2 采用自制数据库对家居养老异常行为监控系 统进行验证。自制数据库包含在室内环境中的 4 种常见行 为：坐下、行走、睡觉以及晕倒,每种行为由 6 个人进行 展示。每个视频都是从监控区域左侧行走进入监控区域, 然后完成上述 4 种常见行为,其中,睡觉行为可分解为 坐下、躺下;晕倒行为比睡觉速度快,在行走达到指定位 置时立刻倒下。实验过程如下：实验 1 共进行 12 次,每 次选取 1 个人展示的行为作为测试集,其他样本均作为 训练集训练,训练集将每个训练视频的动作进行拆解,加 入训练标签进行训练。实验中,通过对比未利用 MHI 与 LBP 辅助异常识别的方法与利用 MHI 判断目标运动轨 迹,在检测到有疑似异常行为的情况,使用表情识别模 块,提取人脸区域,然后进行表情识别的方法。通过最 终识别出异常行为的正确数来验证本文方法的识别效果。

　　如表 2 所示为未增加 MHI 与 LBP 辅助的异常行为 识别结果,如表 3 所示为增加 MHI 与 LBP 辅助的异 常行为识别结果。从表 2、表 3 的对比实验结果可以看 出,行走和坐下的动作都很容易识别,但是睡觉和晕倒 动作容易混淆,由于睡觉动作坐下的速度和姿态与晕倒 动作倒下瞬间的姿态类似,所以会被误判。但是再增加 了 MHI 与 LBP 表情辅助识别后,整体的异常行为识别 成功率得到了有效地提升。该识别效果还是在自建数据 库训练样本较少的情况下完成,如果能增大训练集,该 方法的识别效果会更加明显。

　　4 总结

　　本文提出了一种基于 MHI 与 LBP 表情识别相结合 的辅助异常行为识别的方法。LBP 算子提取的人脸图片 具有光照不敏感和局部纹理特征,通过利用 MHI 寻找目标的运动轨迹,弥补其提取人脸特征区分性不足的问 题。在 CK+ 数据库与自建异常行为库上的试验结果表 明,这种方法有助于提高异常行为识别的准确率,并且 对于更大的训练集,效果会更加明显。

　　参考文献

　　[1] 徐国标,侯明利,熊辉 .基于YOLO改进算法的远程塔台运动 目标检测[J].科学技术与工程,2019.19(14):377-383.
　　[2] 安国成,罗志强,李洪研 .改进运动历史图的异常行为识别算 法[C]//第八届中国智能交通年会优秀论文集—智能交通与安 全.,2013:65-72.
　　[3] 曹静,龚俊杰,山下阳太郎,等 .基于MHI的三重运动表现 人体动作图像识别方法[J].扬州大学学报(自然科学版),2020. 23(4):48-53.
　　[4] 成立,梅雪,张玉燕,等,基于星形距离和LDCRF模型的在线 行为识别方法[J].计算机工程与设计,2015.36(6):1626-1629+ 1636.
　　[5] 王红星,胡永阳,邓超 .基于LBP和ELM的人脸识别算法研究 与实现[J].河南理工大学学报(自然科学版),2021.40(5):139-145. [6] 宋艳萍,黄华,库福立,等 .基于MB-LBP和张量HOSVD的人 脸识别算法[J].计算机工程与设计,2021.42(4):1122-1127.
　　[7] 赵家琦,周颖玥,王欣宇,等.采用支路辅助学习的人脸表情识 别[J].计算机工程与应用,2022.58(23):151-160.
　　[8] 成立.基于3D-CNN-LDCRF模型的行为识别方法[J].新型工 业化,2020.10(9):171-174.
 
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！

文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/60934.html