基于混合深度神经网络模型的网络评论情绪识别研究论文

 

　　关键词：情绪识别,热点事件,网络论坛,大数据,深度学习

 

 

　　截至2021年，中国内网民已达到10.11亿[1]，网络成为民众获取信息，发表评论的重要媒体。尤其是在2019年全球爆发的全社会公共热点事件期间，网络空间（BBS，微博、贴吧）等成为民众表达个人的情绪重要载体[2-3]。为了准确了解民众的情绪变化趋势，以便对相关舆情进行正确引导，对相关文本信息进行情绪识别具有重要的研究意义。

 

　　目前网络情绪识别国内外研究已经取得了一定的进展，Despoina Antonakaki等[4]对Twitter在线社交网络中社交图的结构和属性、情绪分析和威胁进行分析，为后续研究者建立一个清晰的概念模型。Kim[5]提出一种计算动词、形容词、副词等词语的情感得分方法来进行关于文本的情感趋向的判断。在国内相关情感分析中，吴少华[6]运用SNA对天涯论坛舆情演变进行分析，从宏观上把握了网络舆情状态及其演变情况。李绍攀[7]等通过获取的微博数据对台风灾情进行分析以及根据朴素Bayes模型计算了舆情信息的情感值。梁晓梅[8]基于旅游形象“认知—情感”三维理论模型，运用网络文本分析中的词频分析、情感分析、语义网络分析等方法对上海红色旅游认知形象、情感形象、整体形象以及不同类型红色旅游景点形象感知差异进行分析。

 

　　有关文本的情感分析主要分为2种，一种是传统方法，运用统计分类相关算法结合特征工程实现对文本进行分类。Zhou等[9]提出了基于KNN对文本进行分类的方法，通过对新闻文本进行预处理和特征提取，然后进行数据归一化和降维处理最后通过KNN分类器进行分类。Pooja等[10]提出了一种最小二乘双支持向量机方法用于文本分类，将特征集构造为术语频率和逆文档频率矩阵，从而得到每个文档的代表向量，利用LS-TWSVM进行分类。Zhao Huiliang等[11]利用优化的LSIBA-ENN机器学习算法对在线产品评论进行探究，探究了电子商务平台中的情感，赵文静等[12]采用归纳游客差评、还原消费情景，发现重庆夜间文旅消费集聚区存在的产品同质化、低质化和消费快餐化现象。

 

　　另一种方法是基于深度学习、神经网络的文本情感分析。随着以深度卷积神经网络、循环神经网络为代表的人工智能的快速发展，将相关深度学习模型引入到对文本情感分析成为可能，同时随着Word2vec的提出，大大降低了对于词的特征提取的难度，降低了文本数据的储存难度，更好地表达了文本数据[13]。卷积神经网络（Convolutional Neural Networks，CNN）一般用于图像神经网络，对该网络进行调整使得其应用于短文本分类模型，有效地提取到文本的关键信息且对于文本分类效果十分突出[14]。虽然CNN可以有效提取局部关键信息且分类效果较好，但同时该网络忽略了文本上下文语义信息。循环神经网络（Recurrent Neural Network，RNN）能够很好地处理上下文语义。Alharbi Najla M等[15]很好地利用词嵌入和RNN网络及其变体对于亚马逊在线评论进行情感分析，但同时该网络在处理较长文本时会出现部分信息丢失的情况。混合神经网络对于此类问题具有较好的解决能力，用CNN提取文本局部特征，同时用RNN相关变种网络提取文本上下文语义特征，然后将两个网络通过不同的方式进行融合，很好地避免了单独网络的弊端。Yun等[16]构建了基于LSTM的神经网络模型完成对描述主体和描述文本联合建模，取得了良好的效果。Hui Li等[17]通过Bert-Bilstm模型对微博评论进行了情感分析。杜永萍等[18]将CNN与LSTM结合运用于短文本分类预测，较于传统方法具有很大的提升。然而上述研究中现有方法存在着情绪识别准确率低问题。

 

　　为了研究某热点网络论坛文本数据情感分析，本文运用数据挖掘和数据分析、深度学习相关技术对其展开研究。首先，基于多个网络论坛，构架了该热点相关评论实际文本相关数据集。然后，设计了深度学习混合神经网络模型进行情感识别，通过数据集合对模型进行了训练和测试。接着，通过相关试验对所提出模拟进行了性能测试，同时与其他多种模型进行横向对比；并对研究结果进行了分析和讨论。

 

 

 

　　关于热点事件的相关文本数据每天都在更新，网络帖子以及评论回复也越来越多，选取了百度贴吧、虎扑等知名论坛网站进行爬虫数据获取，构建研究用的数据集。该评论、回帖数据集由论坛关于某热点各个帖子的回复文本信息组成，共从论坛中总共获取了2020年1月~2021年4月共计18.7万条的评论数据量，其中在获取之时已经初步进行筛选，除去了很大一部分图片、视频、符号、表情包、一些无关链接，文本数据主要以utf-8编码保存成csv文件格式。

 

　　本文中对数据的预处理中，为了去除数据中噪声和干扰信息，对数据进行去重处理，对数据格式进行转换，替代非必要词语，进一步去除文本中存在的符号和表情等噪声，为了进一步清洗关于该热点事件论坛的数据，除去一些初步清洗并未清理干净的语料，并且对文本信息按照5种典型情绪（愤怒、慌乱、平静、乐观、关爱）进行人工标注。

 

　　1.2基于CNN与LSTM混合深度学习的网络评论情绪识别模型

 

　　1.2.1关于CNN_BiLSTM模型的认识（1）模型文本特征提取

 

　　CNN是深度学习极其具有代表性的算法，在图像分类数据集上有着非常突出的表现，能够很好地获取到图像的信息[19-22]。CNN主要核心结构为卷积层、池化层、全连接层。其应用到文本分类中能起到对文本信息进行局部的特征提取，更好地利用提取的数据。其中在使用CNN进行文本处理前需要对文本进行处理：句子文本句子经过预先处理固定为n个词的长度，每个词由Word2vec经过词嵌入查询对应的词向量，映射成为m维度的向量，把所有词映射完成后形成一个n·m的矩阵A；

 

　　③全连接层：在经过多轮卷积层和池化层的处理之后，具有较高的特征信息使用全连接层进行分类。

 

　　（2）文本序列特征提取

 

　　长短期记忆网络LSTM是递归神经网络RNN的变种之一，LSTM的特殊结构比较适合处理或者预测关于时间序列任务，同时也同样适用于需要上下文结合理解的文本处理问题，使得网络具有记忆功能，细胞状态能够将序列处理过程中的相关信息一直传递下去[23]。其具有记忆功能在于网络中具有独特的“门”设计。采用sigmoid函数来控制其通过的程度，关于门的表达式可以表示为：

 

　　本文构建的神经网络模型使用BiLSTM作为序列信息的特征提取层，高效地利用上下文信息使得序列识别比单向提取每个特征更加稳定且具有更高的准确率。

 

　　1.2.2 CNN_BiLSTM混合模型结构特征

 

　　为了探究论坛中的情感，本文构建了CNN_BiLSTM网络模型对句子进行分类，该模型由CNN与BiLSTM的融合且互相叠加构成。把BiLSTM网络嵌入CNN网络中的池化层和全连接层之间，形成更好的特征记忆以及提高后续分类效果，其网络结构如图所示。首先为将热点事件网络评论预处理并形成词向量，经过词向量的操作后成为矩阵，由卷积网络进行提取部分特征并进行池化，其次由BiLSTM网络获取句子的序列特征，全连接层获取特定的输出，最后由softmax层进行分类预测。

 

 

 

　　为了获得性能良好的论坛文本情感分析网络模型，采用如图所示流程对模型进行练习和校核。首先将原始数据进行处理和标注后，把数据增强并把数据分为训练集、验证集两个子数据集合；再把训练数据集输入到CNN_BiLSTM网络中，经过多轮次训练迭代，当损失函数取值接近收敛且达到预测阈值条件，经过验证集判断后进一步说明网络模型参数稳定，可以输出模型，未达到要求时对网络再进行参数调整并重新训练以达到效果为止。最后采用一定数量的新数据作为测试数据集对模型进行测试，得以获取优质的模型，后续借由该模型对论坛进行情感分析，模型训练情况的流程如图3所示。

 

　
 

　　本实验所设定的基本参数如表1所示。本文同时构建了其他7种深度学习神经网络模型：LSTM、CNN_LSTM、BiLSTM、textCNN、SimpleRNN[24]、CNN-GRU[25]串联、CNN-BiGRU[26]串联，对后续进行分类并对其进行横向对比实验，探究CNN_BiLSTM网络的分类结果。

 

　

 

 

　　为了获取更好的模型效果，对模型进行了参数优化以及预防过拟合设置，对模型进行L2正则化，对激活函数、损失函数、优化器等参数类型进行数据调整，进行对比实验。

 

　　图4为在迭代次数迭代情况为30时准确率、损失情况的变化，随着实验进行，训练集准确率和验证集准确率分别从0.58和0.7开始不断上升，当迭代轮次为6时候，验证集准确率发生了轻微回落，之后又不断上升，当迭代轮次达到8时，训练集和验证集的准确率基本保持不变，训练集准确率达到了97%，验证集的准确率达到了95%；随着实验进行，损失值不断减少，其中验证集的损失值在迭代轮次为6到25时候其中有产生波动，损失值有回升趋势，模型开始发生轻微的过拟合，在这区间内迭代轮次的验证集损失值整体趋势有较为明显的上升趋势。

 

　　综上所述，对比4个准确率函数、损失函数变化趋势得到：当迭代次数为15时，准确率趋于平缓，损失值仍呈下降趋势；当迭代次数为20时，准确率接近收敛、损失值较低，较为稳定；当迭代次数为25、30时，准确率函数几乎收敛，但损失值又有所回升。

 

　　同时本文获取了不同迭代轮次下模型的验证集准确率以及各个分类的F1值，如表2所示。可知，当epochs=20时，CNN_BiLSTM模型的准确率最高；epochs=25和epochs=30时次之，epochs=15时，准确率最低。F1值中epochs=30时的各项指标较高；epochs=20和epochs=25时次之；epochs=15时各项指标最低。其中总体平均F1值epoch=20时最高。综合上述两个结果分析，本文选择ep⁃ochs=20作为后续探究实验的迭代轮次。

 

 

　　为了验证该模型的有效性及其是否优质、是否适合对论坛进行文本分类，本文选择了多个模型在相同训练集、验证集上进行训练并与该模型进行对比分析，激活函数选择ReLU，损失函数选择categorical_crossentropy，优化器选择Adam，各个模型训练迭代轮次都为20，其训练过程的准确率和损失率变化曲线如图5~6所示。

 

 

　　根据图5的结果，在训练集准确率方面，各个模型在第4或第5个轮次开始收敛，并且其收敛准确率都超过了90%。这些模型的曲线相对平缓，波动较小。然而，图5在验证集准确率方面，只有部分模型在第6或第7个轮次开始收敛，并且其收敛准确率也高于90%。而SRNN模型并未出现明显的收敛现象。相比之下，textCNN、SRNN和CNN_GRU模型的曲线较为曲折，呈现明显的波动。

 

 

　　根据图6在训练集损失情况方面，各个模型在第5或第6个epoch开始收敛，其中SRNN模型的曲线收敛情况最差，略微有一些波动。其他模型的曲线相对平缓，波动较小。在验证集损失情况方面，textCNN模型的曲线显示出严重的过拟合现象。而SRNN和CNN_GRU模型的曲线也较为曲折，发生了不同程度的过拟合现象。相比之下，CNN_BiLSTM模型的曲线相对平缓，波动较小。

 

　　综上所述，根据各个方面综合考量，CNN_BiLSTM模型在这八种模型中表现效果最好。收敛速度较快，准确率高，并且没有明显的过拟合现象。因此，CNN_BiL⁃STM模型在此任务中是一个值得关注和进一步研究的有希望的选择。

 

　　在实验过程中获取了该四个网络的混淆矩阵，对其进行对比，以讨论各个网络的预测情况和真实数据的情况。通过图7CNN_BiLSTM网络模型关于预测集数据和真实值数据的混淆矩阵，其中主对角线上的元素为验证集模型预测结果和验证集标注的结果一致的数量，通过图可以其中大部分数据的分类效果较为好，多数分类数据集中在主对角线上。

 

 

　　本文还训练了BiLSTM、CNN-BiGRU、CNN-GRU、CNN_LSTM、LSTM、SimpleRNN和textCNN获取了其评估指标结果。不同深度学习模型实验结果，如表3所示。表明，本文提出的神经网络模型较其他模型在准确率方面都有所提高，其中与BiLSTM、CNN-BiGRU、CNN-GRU、CNN_LSTM、LSTM、SimpleRNN和textCNN模型准确率分别提高了0.23%，0.35%，0.49%，0.47%，0.98%，3.5%，0.88%。F1值方面相较于其他七个模型，本文提出的模型处于中间位置，并且对于各个分类的预测F1值都处于91%以上，平均F1值达到了94.66%。其中由表可知愤怒和关爱的情感的F1值表现较好，而平静的情感F1值表现效果较差，平均的F1值整体上都表现较为优秀，大部分模型的平均F1值都大于94%，而SRNN模型的F1值最差。

 

　
 

 

　　本研究采用数据挖掘和人工智能方法，通过对网络论坛中关于某热点的相关评论的文本数据进行收集。鉴于CNN和BiLSTM各自的优点，提出混合深度学习CNN-BiLSTM模型，用于热点事件网络评论的情绪识别；通过实际的数据集合对该模型进行了训练，并进行相关实验和性能测试。得到以下结论：

 

　　（1）CNN_BiLSTM能够很好地处理热点事件的相关评论的情绪识别题，其情绪识别准确率高达95%以上，各个情绪识别F1值均大于90%；

 

　　（2）所提出的模型与BiLSTM、CNN-BiGRU、CNN-GRU、CNN_LSTM、LSTM、SimpleRNN和textCNN模型比较，准确率分别提高了0.23%、0.35%、0.49%、0.47%、0.98%、3.5%和0.88%。

 

 

　　[1]中国互联网络信息中心.中国互联网发展状况统计报告[R].北京:中国互联网络信息中心,2021.

 

　　[2]朱代琼.热点公共事件中网络社会情绪演进的影响因素研究——基于2413份问卷调查的分析[J].新闻世界,2024(1):39-43.

 

　　[3]吴江,黄茜,贺超城,等.基于引爆点理论的人工智能生成内容微博网络舆情传播与演化分析[J].现代情报,2023,43(7):145-161.

 

　　[4]ANTONAKAKI D,FRAGOPOULOU P,IOANNIDIS S.A survey of Twitter research:Data model,graph structure,sentiment analy⁃sis and attacks[J].Expert Systems with Applications,2021,164.

 

　　[5]KIM S M.Extracting opinions,opinion holders,and topics ex⁃pressed in online news media text[C]//Proceedings of the ACL Workshop on Sentiment and Subjectivity in Text.2006.

 

　　[6]吴少华,崔鑫,胡勇.基于SNA的网络舆情演变分析方法[J].四川大学学报(工程科学版),2015,47(1):138-142.

 

　　[7]李绍攀,赵飞,周义棋,等.基于微博数据的台风灾害舆情分析与灾害损失估计[J].清华大学学报(自然科学版),2022,62(1):43-51.

 

　　[8]梁晓梅,吴国清.基于网络文本分析的上海红色旅游形象感知研究[J].黑龙江生态工程职业学院学报,2024,37(1):50-56,62.

 

　　[9]CHEN Z,ZHOU L G,LI X D,et al.The LAO text classification method based on KNN[J].Procedia Computer Science,2020,166:523-528.

 

　　[10]SAIGAL P,KHANNA V.Multi-category news classification us⁃ing Support Vector Machine based classifyers[J].SN Applied Sciences,2020,2(2):273-297.

 

　　[11]ZHAO Huiliang,LIU Zhenghong,YAO Xuemei,et al.A ma⁃chine learning-based sentiment analysis of online product re⁃views with a novel term weighting and feature selection ap⁃proach[J].Information Processing and Management,2021,58(5):102656.

 

　　[12]赵文静,郑亚章.基于网络评论分析的重庆夜间文旅集聚区提升对策研究[J].中国商论,2024(1):91-4.

 

　　[13]MANAL M,NAZLIA O.Question classification based on Bloom's taxonomy cognitive domain using modified TF-IDF and word2vec[J].PLoS ONE,2020,15(3):e0230442.

 

　　[14]孟佳娜,吕品,于玉海,等.基于CNN的方面级跨领域情感分析研究[J].计算机工程与应用,2022,58(16):175-183.

 

　　[15]ALHARBI N M,ALGHAMDI N S,ALKHAMMASH E H,et al.Evaluation of sentiment analysis via word embedding and RNN variants for amazon online reviews[J].Mathematical Problems in Engineering,2021.

 

　　[16]YU N,PAN D,ZHANG M,et al.Stance detection in Chinese mi⁃croblogs with neural networks[M]//Natural language understand⁃ing and intelligent applications.Kunming:Springer Internation⁃al Publishing,2016:893-900.

 

　　[17]LI Hui,ZHANG Lin.Deep learning based text sentiment analy⁃sis during epidemic[J].International Core Journal of Engineer⁃ing,2021,7(7):1-5.

 

　　[18]杜永萍,赵晓铮,裴兵兵.基于CNN-LSTM模型的短文本情感分类[J].北京工业大学学报,2019,45(7):662-670.

 

　　[19]ZHOU Zhanghui,CHEN Yonghui.SVM Barrage Classification Algorithm Based on TF-IDF Weighting and Its Improvement[J].World Scientific Research Journal,2021,7(7).

 

　　[20]LI Jinye.A comparative study of keyword extraction algorithms for English texts[J].Journal of Intelligent Systems,2021,30(1).

 

　　[21]张俊飞,毕志升,吴小玲.基于词向量Doc2vec的双向LSTM情感分析[J].计算机与数字工程,2018,46(12):2385-2389,2399.

 

　　[22]刘斌,龙健宁,程方毅,等.基于卷积神经网络的物流货物图像分类研究[J].机电工程技术,2021,50(12):79-82,175.

 

　　[23]罗熹,夏先运,安莹,等.结合多头自注意力机制与BiLSTM-CRF的中文临床实体识别[J].湖南大学学报(自然科学版),2021,48(04):45-55.

 

　　[24]罗森林,杨俊楠,潘丽敏,等.面向信息与通信技术供应链网络画像构建的文本语义匹配方法[J].北京理工大学学报,2021,41(08):864-872.

 

　　[25]SHAHANI N M,KAMRAN M,ZHENG X,et al.Predictive modeling of drilling rate index using machine learning ap⁃proaches:LSTM,simple RNN,and RFA[J].Petroleum Science and Technology,2022,40(5):534-555.

 

　　[26]HABOUBI S,GUESMI T,ALSHAMMARI B M,et al.Improv⁃ing CNN-BGRU hybrid network for Arabic handwritten text rec⁃ognition[J].Computers,Materials&Continua,2022,73(3).