SCI论文（www.lunwensci.com）:
摘要：该文利用大数据技术可视化技术,分析和讨论基于SSM_HADOOP框架,并对其实现手机用户信息大数据可视化的实现方法进行设计,达到对其结果进行展示、预测等；通过对其可视化结果的展现,对以后用户信息大数据可视化技术的个性化研究方向提供一个思路。
关键词：高校学生手机品牌信息；大数据；SSM；Hadoop；Spark；可视化
Based on SSM_HADOOP Research on Big Data Visualization of College Students'Mobile Phone User Information Based on Hadoop Framework
ZHU Weidong,LI Zilong,QIAO Liangcai
(Xuzhou University of Technology,School of Information Engineering(School of Big Data),Xuzhou Jiangsu 221000)
【Abstract】：This paper uses big data technology and visualization technology to analyze and discuss based on SSM_ Hadoop framework,and design the implementation method of realizing the big data visualization of mobile phone user information,so as to display and predict the results;Through the display of its visualization results,it provides an idea for the personalized research direction of user information big data visualization technology in the future.
【Key words】：college students'mobile phone brand information;big data;SSM;Hadoop;Spark;visualization
大数据技术日益广泛应用在生产过程中,利用大数据技术对用户信息进行分析、预测能够更好、更精准地为用户提供服务服务。大数据分析中一个环节就是大数据显示,因为其特征简单直观、观察便利已经成为大数据可视化的一个重要环节。本文介绍了已徐州工程学院的信息工程学院（大数据学院）、电控学院、数学与统计学院三个学院四个班级共计一千名的高校大一学生使用手机品牌信息的收集,以期得到学生对手机品牌的依赖度情况统计的结果并进行展示。首先介绍SSM模型,然后再介绍SSM框架与Hadoop平台的有机组合进行数据分析,最后通过Tomcat服务器利用JSP网页技术对用户信息分析结果进行可视化实现。
1基于SSM_HADOOP框架的高校学生手机用户大数据分析过程
本文大数据分析采用Linux开源操作系统Ubun-tukylin16.04,构建以Hadoop2.7离线数据分析平台为大数据开发环境。在平台下利用Spark分布式计算框架技术,使用Scala编程语言进行编程实现。离线数据分析过程分为三个步骤,（1）将手机用户信息数据上传到HDFS分布式数据库中；（2）Scala编写Spark离线分析程序对HDFS分布式中的存储数据进行清洗、分析,并把分析的结果下载到本地数据库MySQL数据库中；（3）编写SSM框架程序对MySQL中的数据进行可视化呈现。本设计的开发框架流程如图1所示。
2基于SSM框架的工作流程
2.1 Spring MVC框架的工作流程
Spring适合设计层框架,它的代码是开源的,且遵守MVC模式。MVC是模型、视图、控制器的缩写,即Model,View,Controller。其中,模型是程序的主体；视图提供用户与程序的交互；控制器则根据业务逻辑接收用户的请求。它的工作流程是首先用户发出请求,控制器接收用户请求并委托给模型进行处理；控制器改变状态,返回视图要显示的模型数据；模型保存数据,并提供修改、查询功能；模型将数据推送给视图,视图展示其模型数据,提供人机交互功能,并向用户返回响应形成一个闭环。
2.2 Spring MVC框架与Mybatis融合
Spring MVC框架模式强制把应用的输入、处理、输出分成三个层,它们分别代表数据持久层、视图层、业务逻辑层,并各自处理自己的任务。在JSP在视图层输出,Controller和Service在业务逻辑层处理,Mapper和Model在数据持久层输入。Spring IoC则负责创建和管理需要的对象,它的实现机制是通过Autowired注解实现的。Mybatis机制是调用和执行XML文件中的SQL,并返回持久层的数据。它执行的过程是首先加载配置并初始化,然后接收调用请求,处理操作请求,最后将处理结果保存在数据库并将最终的处理结果返回。
2.3 Spark计算引擎处理数据
大数据计算平台Hadoop,（讲述其分布式存储与计算作用）,在此大数据生态系统中,为了更高效地进行分布式计算,使用Spark计离线算引擎进行数据运算,较之Hadoop计算框架提高了一个数量级。计算过程包括采集将学生手机数据上传到Hadoop的HDFS分布式系统中,然后使用Spark引擎进行数据运算分析。其具体启动前则须先启动分布式平台Hadoop。
2.4数据上传
本设计将数据分为若干字段,主要字段其含义为：
学生编号snum（A0001～A1000）;
登录地址logadd;
登录时间logtime;
所属学院afficoll（0:信息工程学院；1:电控学院；2:机电工程学院）;
手机品牌phobrand（0:华为；1:小米；2:苹果）;
购买方式purchmethod（0:网购;1:实体店）;请求结果requresult（0:查询失败;1:查询成功）;
数据上传需要将数据从本地环境上传到分布式系统环境HDFS中去,该过程先在HDFS中创建一个/User/Hadoop目录,然后使用终端命令将分析数据上传。它分为两步,第一步在分布式系统HDFS上创建目录,第二步把本地文件上传到HDFS,具体命令如下：
$./bin/hdfs dfs-mkdir-r/user/hadoop//使用mkdir命令创建分布式目录
$./bin/hdfs dfs-put./data_test.txt/user/hadoop//上传文件
2.5 Spark数据分析
数据上传后,使用Spark平台进行数据分析。其过程是从分布式数据库HDABSE中读取数据,然后使用Scala语言工具进行数据的清洗与处理,最后把处理后的数据存储到MySQL本地数据库中。
3 SSM_HADOOP框架的信息处理
3.1 SSM_Tomcat项目设计步骤
设置好项目文件,然后对pom.xml文件进行配置。其中,主要配置内容有Spring、Mybatis、MySQL驱动连接、可视化组件Echarts、JSON文件等。最后把分析结果在部署到Tomact服务器,实现数据分析结果的可视化呈现。
3.2 SSM_HADOOP项目实现
在IDEA项目中,使用SSM框架整合了MySQL数据库驱动,Echarts包,Tomact服务器,编译生成应用程序JAR包,以.war形式输出到Tomact的服务器中；同时,修改Tomact配置文件及服务端口以便使其结果能够在网页中呈现。
3.3 Tomcat_Echarts可视化设计数据可视化分析
利用Echarts数据可视化图形制作工具呈现直观的结果。本例通过折线图、柱状图、饼图分别展示三个学院学生使用手机的品牌情况分布、购买情况、占用百分比等情况。
如图2所示可以直观看出信息工程学院学生使用手机品牌中小米品牌最多109人,其次是苹果手机96人,使用华为手机的人数为95人,后两种品牌使用人数大体相当。
有两种购买模式,一种是到网络上线上购买手机,第二种是线下购买。如图3所示可以看出,在实体店购买的人数要比网购多出十个点左右。
如图4所示通过饼图形式展示了学生购买三种手机的使用情况统计。从使用Echarts饼图直观显示了学生使用华为、小米、苹果手机的百分比情况。从饼图的比例可以直观地看出学生总体使用小米、华为手机最多,由此可以推测出国产手机的质量已经很高；也由此可以看出与之前孟晚舟事件的影响,也从另一个侧面反映出学生的爱国热情影响到了经济。
4结语
本设计分析了以徐州工程学院下的三个学院大一新生一千名学生使用手机品牌的情况对比。分析了大数据计算框架及大数据可视化,重点研究实现了Hadoop大数据平台下利用Spark技术使用SpringMVC框架,以及利用Echarts图形制作工具实现大数据结果的可视化技术；最后尝试探讨了大数据分析可视化技术的个性化预测,为以后进一步开发此类课题提供了良好的借鉴。
参考文献
[1]林子雨.大数据技术原理与应用[M].北京:人民邮电出版社,2017.[2]林子雨.大数据实训案例-电信用户行为分析(Scala版)[M].北京:人民邮电出版社,2019.
[3]余辉.Hadoop+Spark生态系统操作与实战指南[M].北京:清华大学出版社,2017.
[4]陈学明.Spring+Spring MVC+MyBatis整合开发实战[M].北京:机械工业出版社,2020.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！
文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/37829.html
