SCI论文（www.lunwensci.com）:
摘要：本文实现是以某市交通事故分析为核心,面向某市交管局指挥中心大屏环境,对交通事故相关综合数据进行处理分析和维护任务,具备优异的数据可视化显示效果,支持大屏、多屏等展示场景,为交通整改、政府决策等提供全面服务,使交管部门工作从规模庞大的交通事故数据[1]中快速直接地检索到重要且需要的数据,最后通过数据可视化[2]和数据分析处理相结合,提升交通事故剖析能力。
关键词：交通事故数据[3]；数据可视化[4]；数据可视化图形
Design and Implementation of Traffic Data Visualization Based on Big Data Platform
XU Huijiang1,LUO Caixi2
(1.Nankai University Binhai College,Tianjin 300270;2.Hunan Sany Polytechnic College,Changsha Hunan 410129)
【Abstract】：The project focuses on the analysis of traffic accidents in x city,and faces the large screen environment of the command center of x city traffic management bureau to process,analyze and maintain the comprehensive data related to traffic accidents.It has excellent data visual display effect,supports large screen,multi screen and other display scenes,and provides comprehensive services for traffic rectification and government decision-making,make the traffic management department quickly and directly retrieve the important and needed data from the large-scale traffic accident data.Finally,improve the traffic accident analysis ability through the combination of data visualization and data analysis and processing.
【Key words】：traffic accident data;data visualization;data visualization graphics
0引言
随着大数据技术的进步,可视化数据大屏应用于当今社会的各个领域,数据可视化是一种始终进步不断演化的形式[5]。从最初的纸质数据展示,到后来使用计算机制作报表,再到现在利用一些技术方法,对大批量的数据进行数据剖析与处理,在数字大屏中通过可视化图形,清晰且有目的性地传递重要信息,而可视化图形界面可以将设计与功能相结合,所以不会让人感到枯燥乏味,人们也逐渐接受这种观察方式,但是设计与功能之间的平衡难以把控,容易出现华而不实的情况[6]。可以说,数据可视化的观点一向存在,但显示方式是跟着时代的成长而成长的。
当前是一个信息如大海一样泛滥的时代,基于数据化、现代化、智能化的交通管理是一个热门话题。交通事故的数据规模自身就十分宏大,数据集的字段也非常的多,巨大的数据集可以通过各种方式进行汇总,但人脑无法快速从大量的信息中检索出需要的信息[7]。因而需要先进的可视化技术和数据分析技术处理这种大规模的数据集。本文做出的研发设计主要应用于某市交通领域,能够实现对某市交通事故的可视化分析,从而提升公安机关的交通事故剖析能力。
1需求分析及功能模块划分
本方案主旨是全面剖析交通事故发生的缘由,经过交管中心采集到数据,进行数据分析、数据管理、数据挖掘,为某市交管中心及其交管部门提供数据可视化、数据分析处理、数据维护于一体的统一平台,宏观地看到交通事故数据,提供更大尺度、更深层次、更多内容的数据可视化展示。通过可视化数据大屏的展示形式,清晰全面有效地传述数据中的一切内容,来辅助决策者进行决策,提升交通事故综合分析水平,更好的完成治理整改工作[8]。
如今,交通事故的数据规模过于宏达,数据存储、更新、维护、检索的工作任务太大,时间成本太高,传统的数据分析手段只能够满足交通事故的查询、统计等基本功能,而对于哪些基于时间、空间及时空交叉维度的分析,则需要通过可视化数据分析手段进行呈现。本文通过交通事故分析可视化平台,能够让工作人员通过管理界面,通过简单的操作即可完成对交通事故数据的可视化分析、展示与高效治理[9]。
本平台整体分成三个大模块,数据分析模块、数据维护模块、可视化大屏模块。使用人员分为用户和管理员,普通用户默认只能访问数据可视化模块,查看大屏,管理员具有一切平台的使用权限,其中包括给他人授权的权限,相当于拥有所有权限的用户。
具体功能模块划分如图1所示。
2平台架构构想
平台的整体架构设计将按照双机热备、主从复用的设计原则,并针对实际应用情况设计出最符合的主从数据库+双机热备平台结构。平台整体架构主要包括了6台服务器：访问客户端1台、Nginx代理服务器1台、双机热备应用服务器2台、主从数据库服务器2台。如图2所示。
该模型中,包含了Nginx代理服务器、后端服务器、MySQL数据库服务器以及消息中间件服务器,其中的后端服务器和数据库服务器都是可以根据应用容量进行扩充。在测试环境下,Spark分析是采用的是八核CPU进行分布式计算,而在实际应用环境中则需要考虑部署Spark分布式网络结构服务器或集群计算机。还有一点就是目前使用的是Spark的离线处理,没有应用到Spark框架的SparkStreaming实施分布式计算功能[10]。在功能升级时,需要服务器部署实时消息队列中间件,如Kafka等,实时接收数据排队发送给SparkStreaming进行处理。这些消息中间件和服务器都是能够根据实际应用功能需求的扩展进行扩容,很好的体现了平台架构的可扩展性。
平台整体架构则可以分为6层体系架构。第一层是Web前端界面层,主要通过Ajax技术发送请求给后端服务,实现数据的调用；第二层是Nginx服务层,其主要功能是完成反向代理和负载均衡任务；第三层是Controller控制器和API接口层组成,Controller控制器用来接收请求调用业务层和Spark分析,API接口用来接收第三方系统发来的请求调用业务层；第四层由Spark分析框架和Service业务组成,Service业务层主要用来完成业务功能,Spark框架用来进行分布式计算处理交通事故数据；第五层是数据访问层,主要通过SparkSQL、MyBatis数据访问、Util工具等手段实现对数据的增删改查功能；第六层是数据层,主要包括CSV数据文件和MySQL关系数据库中的交通事故数据。
3平台主要功能设计
3.1登录功能的说明
本平台分为2个角色,用户和管理员,管理员账号为系统自行建立的角色,而用户账号则为具有人员管理权限的账号所建立,并赋予初始账号密码和权限,但由于本平台数据有高度保密性所以不可进行登录访问,以免数据遭到泄漏。
3.2人员账户管理
拥有人员管理权限的用户和管理员可以进入人员管理界面,可以创建新用户并赋予初始账号密码和权限,权限包括：人员管理权限、数据删除权限、预警操作权限、字典编辑权限、分析设置权限、信件操作权限,用户只能管理和注销自己创建的用户。
3.3数据维护功能
拥有数据删除权限的用户和管理员可以进入数据维护界面,用于维护交通事故数据,可以进行CSV上传、CSV下载和数据维护。交通事故数据正常来说是不需要修正的,都是通过第三方系统传递过来数据。
3.4数据预警设置
拥有预警操作权限的用户和管理员可以进入数据预警设置界面,可对三个数据可视化模块的图表进行预警阈值编辑与查询,可以参照图表字段数据的平均值来设置,也可根据交管局的阈值规定来设置,当图表中的字段数据超越用户或者管理员所设立的字段阈值,就会生成数据预警通知。
3.5数据预警通知
拥有预警操作权限的用户和管理员可以进入数据预警通知界面,可以对数据预警内容进行删除、修改、查询、是否显示在预警通知栏中。
3.6字典内容管理
拥有字典编辑权限的用户和管理员可以进入字典内容管理界面,对字典的详情和内容进行维护。
3.7字典操作日志
拥有字典编辑权限的用户和管理员可以进入字典操作日志界面,对字典详情和字典内容进行操作后,会产生日志在字典操作日志界面显示,能够查看操作前和操作后的变化,可以对操作进行回滚。
3.8显示与分析设置
拥有分析设置权限的用户和管理员可以进入数据分析设置界面,可对三个数据可视化模块的图表进行显示与隐藏的设置,可以对三个数据可视化模块的分析模式进行设置,定时分析和数据定量分析。
(1)信件操作管理功能。拥有信件操作权限的用户和管理员可以进入信件操作管理界面,可以对接收和已发送的信件进行查看和删除。
(2)送信地址管理功能。拥有信件操作权限的用户和管理员可以进入送信地址管理界面,用来配置第三方系统的实际收信URL地址,对收信URL地址的信息进行维护。
(3)送信功能。对配置好地址的其他系统,进行送信。
(4)定时分析功能。利用SchedulingConfigurer接口,配置实现动态定时任务,来调用Spark层的接口处理分析数据,来完成定时分析功能。
(5)数据定量分析功能。在第三方调用的接收交通事故数据API接口中,通过判断接口被调用成功次数来做判断,每当次数大于等于配置好的定量次数后,调用Spark层的接口处理分析数据,来完成数据定量分析功能。
(6)操作日志功能。所有用户在数据可视化维护界面进行的大部分操作以及登录退出操作,都会记录在操作日志界面中,可以查看操作内容、操作人、操作时间等,但没有回滚功能,只能查看,只有管理员可以删除。
3.9可视化大屏说明
三个大屏模块,是对平台系统从事故地点和事故原因方面、发生事故的时间与气象方面、当事人与车辆方面分别对某市交通事故数据的分析结果的展示。通过该模块的展示,管理员能观察过往发生事故的地点与原因方面的具体情况,包括事故中车辆的碰撞类型、高危道路类型、事故地点的地图打点、路号和区号地点发生的事故情况与发生事故的原因、事故发生高峰月对比、一周内高发日对比、各天气发生事故数量对比、一日内高发时间对比、每年不同区的事故数量、各年龄段事故数量、当事人男女发生事故对比、各车型事故数量对比、本地与外地事故车辆对比等,从而提高交管局的执行效率,减少交通负担,节约更多的交通资源,为人民提供优质服务[11]。
4大屏可视化展示原理
以事故地点与原因分析模块来举例说明,在使用CSV上传功能或者交通数据Web接口接收到数据后,通过显示与分析设置界面设置好的分析模式,调用Spark分析处理块,对接收到的数据进行分析处理,处理成前端可视化图表需要的数据集,在使用SparkSQL将结果数据集保存到可视化图表对应的数据库中,在用户进入大屏界面时,调用Controller去取得图表数据集,在Service层将图表数据集中的字段值进行字典对照后,再返回到前端,赋值给ECharts.js的接口参数,最终将数据展示在可视化大屏界面。
大屏实现过程图如图4所示。
5总结与展望
本文提出了一种基于大数据平台架构的交通数据可视化平台的整体实现方案,可实现对某市交通事故的可视化综合分析,同时,本文提出的交通数据可视化平台应用体系架构及业务部署架构也可运用于医疗、火灾事故、疫情分析等各种领域[12]的数据可视化分析与展示,具有较大的应用和研究价值,也值得进行应用推广。
参考文献
[1]马淑兰.数据可视化技术在统计学原理课程中的应用[J].信息系统工程,2022(3):165-168.
[2]曹小平,孙暖.面向校园消费数据的可视化分析平台研究[J].四川职业技术学院学报,2022,32(1):159-164.
[3]郭世豪.基于大数据的在线教学平台数据可视化研究[J].河南广播电视大学学报,2022,35(1):7-11.
[4]熊柏祥.基于SpringBoot和Vue框架的考试资源服务平台的设计与实现[J].信息与电脑(理论版),2022,34(1):97-99+103.
[5]姚忆南.数据可视化大屏UI设计的研究和分析[J].自动化仪表,2021,42(5):107-110.
[6]和晓军,孙康.基于Spark的电商用户行为分析系统[J].信息技术与信息化,2021(11):95-97.
[7]关凯轩,禹素萍.基于深度学习的Spark电影推荐系统设计[J].科学技术创新,2021(32):131-135.
[8]罗月童,刘璐,刘新月,等.空间语义增强下的城市交通事故数据可视分析[J].中国图象图形学报,2019,24(12):2279-2290.
[9]袁力.基于地理信息和数据可视化的道路交通事故调研分析与对策建议[J].汽车与安全,2018(7):90-95.
[10]姜晓睿,田亚,蒋莉,等.城市道路交通数据可视分析综述[J].中国图象图形学报,2015,20(4):454-467.
[11]杨跃倩,徐伟.环保材料在家具领域应用数据可视化分析[J].林业和草原机械,2021,2(5):73-77.
[12]尹航,廖梓渊,徐龙琴,等.基于ECharts的对虾产业数据可视化分析平台设计及实现[J].现代农业装备,2021,42(4):7-14.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！
文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/45932.html
