计算机软件技术在大数据时代的应用研究论文

SCI论文（www.lunwensci.com）

　　摘 要：先进的大数据软件技术能够高效化地处理网络、生产体系中的数据信息,深层化分析数据,挖掘出数据内在价 值。处在大数据时代背景下,计算机软件运行环境大大改善,海量数据应用、传输的安全性大大提升。本研究对大数据时代下 计算机软件技术进行了论述,分析了计算机软件技术及大数据技术间的关系,并总结了大数据采集、大数据存储、大数据查 询、大数据可视化中计算机软件技术的应用,以期在大数据时代充分发挥计算机软件技术的优势,进一步推动计算机软件技术 的优化升级,助力大数据时代和计算机行业的发展、进步。

　　(1. School of Information Engineering, Zhengzhou Institute of Industrial Application Technology, Zhengzhou Henan 451150;2.School of Software, Zhengzhou Institute of Industrial Application Technology, Zhengzhou Henan 451150)

　　【Abstract】：Advanced big data software technology can efficiently process the data information in the network and production system, deeply analyze the data, and dig out the intrinsic value of the data. In the context of the big data era, the operating environment of computer software has been greatly improved, and the security of massive data application and transmission has been greatly improved. This research mainly discusses computer software technology in the big data era, analyzes the relationship between computer software technology and big data technology, and summarizes the application of computer software technology in big data collection, big data storage, big data query, and big data visualization, with a view to giving full play to the advantages of computer software technology in the big data era, and further promoting the optimization and upgrading of computer software technology, help the development and progress of the big data era and the computer industry.

　　【Key words】：big data;computer software technology;application strategy;network technique

　　计算机软件技术的开发在大数据分析中占据着重要 地位。大数据的管理功能,依赖于专业软件工具、编程 技术,开展大数据采集工作时涉及到程序算法规定格式 及字段,同时数据库的查询及存储也应用到专项 HQL 或 SQL 等语言,而大数据可视化则需要借助前端编程 语言、工具 [1]。开展计算机软件技术在大数据时代的应 用研究具有重要意义,能够促使计算机软件技术融入到互联网大数据中,实现计算机软件技术的与时俱进。

　　1 大数据时代下计算机软件技术概述

　　1.1 大数据

　　大数据技术涵盖不同类型的大数据平台、大数据指 数体系,具有数据整合效率高、数据处理进程快、数据 种类繁多、数据规模大等显著特征 [2]。依托大数据技术 处理数据信息,提炼出具有较高价值的信息,对数据库功能进行优化,从而帮助用户进行科学判断,做出正确 的决策,显著提升工作效率。

　　大数据技术主要有大数据接入技术、大数据存储技术、 大数据分析与挖掘技术、大数据共享交换技术、大数据展 现技术。其中,大数据接入技术主要包括 Sqoop、Kafka、 ActiveMQ 以及 Flume 等 ;大数据存储技术涵盖 Hive、 Hdfs、ElasticSearch、Hbase 和 Redis 等 ;大数据分析 与挖掘技术包括 MapReduce、Sprak、Pig、Mahout 等 ; 大数据共享交换技术有 Kafka、Web Service、Socket 和 ZeroMQ 等 ;大数据展现技术包括 ECharts、Tableau。

　　1.2 计算机软件技术

　　计算机软件技术是软件设计、实施及应用等多项技 术的统称,涉及程序设计语言、数据结构、数据库系 统、软件工程及多媒体等多项技术。计算机软件技术主 要包括云存储技术、虚拟化技术以及信息安全技术三大 类型,细分为系统架构技术、数据库安装和操作技术、 Linu 操作系统和程序编码技术等 [3]。

　　计算机软件技术依托大数据技术使信息传输的整体 效率得到显著提升,保障信息传输的通畅性。计算机软 件技术中的 Hive、Spark 和 HBase 等技术同大数据技 术密切相关,发展过程中,应用范围持续扩大,成功开 发出大数据终端,提升了计算机网络速率,助力了大数 据时代综合发展的目标。

　　2 大数据和计算机软件技术之间的关系

　　基于网络系统开展线上操作、管理活动, 能够在系 统中记录、保存各环节的相关信息,促进生活化场景的 数据化、流程化和业务化转变。细化的业务场景形成了 海量系统运营数据,对网络数据信息管理工作提出了更 高的要求。

　　面向互联网环境下庞大的数据规模,大数据技术作 为一套专业数据管理技术,结合数据信息本体呈现的需 求关系来对各类应用场景下的数据载体应用特征进行界 定,还能够参考系统预设标准完成自主驱动处理 [4]。大 数据时代计算机软件技术的应用呈现出大众化、智能 化、服务化和国际化的趋势,凭借基础能力、数据采 集、数据存储、数据查询、数据计算机和其他核心功 能,实现了大数据开发和管理,在通信领域、商业运营 领域、企业信息战略规划等领域中均发挥着重要作用。

　　大数据和计算机软件技术两者相辅相成、密不可 分。以大数据存储功能为例,海量数据信息的读写运用 到 Hbase 和分布式 NoSQL 数据库,其中数据库相关 技术即为计算机软件技术 [5]。结合大数据技术下软件技 术功能类型图来看,大数据应用下的各核心节点均涉及到计算机软件技术,所以在计算机软件技术不断更新、 新计算机软件技术及工具不断形成的过程中,会极大地 促进大数据技术的发展和应用。

　　3 计算机软件技术在大数据时代的应用

　　3.1 在大数据采集中的应用

　　大数据技术中数据采集必须要借助专业计算机软件 技术,具体应用措施包括如下几种 ：

　　(1)是基于服务器日志的数据采集。用户在对 App 或网站等软件系统进行访问时,页面设计的按钮具有选 择、输入及点击等监听事件的功能,使用户的所有前端 操作行为被网站所监听。用户的各项操作会使前端发出相 应的网站请求,并在后端程序推出专项程序代码 [6]。完成 服务访问后,有关记录形成一定规模的日志信息,自主 对日志格式进行设置。例如 ：在 Nginx 服务器下, 用 户信息、访问时间、IP 抵制及网络链接强求均可以记录 在日志中。通过数据处理工具,包括 Linux 使用 TAR 命令切割大文件、正则表达式匹配等,将有价值的信息 从日志文件内进行提取和存储。

　　(2)是实时采集。实时采集中应用率最高的即为 Kafka,其适用于访问请求数量较多、数据规模庞大的 网络应用系统,拥有临时存储功能,支持部分系统数据 进入到该分布式的消息系统内,批量化处理、保存后端 系统中的数据。

　　(3)是网络请求写入数据。用户将表单、Ajax 请 求提交或发送给前端系统后,浏览器请求可以向后端传 送数据参数,开展数据运算处理,并在大数据存储系统 内保存一定类型的数据资源。

　　(4)是网络采集脚本写入数据。前端网页抓取数据 的重要方式是爬虫技术,主要是借助 Python 对网络爬 虫脚本进行编写,在网站系统中完成数据采集任务。该 前端数据采集方式可以针对数据开展逻辑运算,生成应 用价值较高的存储数据。

　　3.2 在大数据存储中的应用

　　大数据存储中计算机软件技术的应用主要包括以下 类型 ：(1) 是借助关系型数据库的系统架构构建数据库 集群,向多个关系型数据库划分数据存储任务。例如, 在数据库中存储网站系统的图片资源,其他类型数据资 源则在不同数据库内进行存储,实施分表及分库化保存。 数据访问时,结合访问资料类型,于后端程序代码中选 择相应数据库,使数据库存储功能增大,并快速响应需 求 [7] ;(2) 是 HBase 技术。HBase 作为分布式数据库, 是大数据存储技术的核心,拥有较强的可靠性、良好的 性能,能够依托 API 或 Shell 接口对数据资源进行存储。

　　HBase 技术并未限定数据的结构,依靠灵活化的存储模 式,提高了数据存储效率 ;(3) 是 NoSQL 数据库。ES、 Redis、Memcache 和 MongoDb 等 均 属 于 NoSQL 数 据库, 属于非关系型数据库。其中, MongoDb 的数据 格式为 Bson,性能强大,存储字段名称为 name,且存 储内容为“yeyz”“zhangsan”,能够对存储信息进行扩 充,对新字段进行增添擦操作,高效地完成海量数据的 存储任务。

　　3.3 在大数据查询中的应用

　　在 Oracle、MySQL 等关系型数据库下的大数据存 储系统中,通过 SQL 语句对数据进行查询,弥补了关系 型数据库的不足,主要包括以下几种 ：(1) Hive 技术。 Hive 作为 Apache 公司所研发的技术架构, 以 Hadoop 技术为支撑,是重要的数据仓库管理工具,在大数据分 布式系统中发挥着重要作用。Hive 技术将 HQL 作为查 询语言, 能够对基于文件的结构数据映射为同关系型数据 库相近的数据表,借助 SQL 语言在映射的数据表中对字 段信息进行查询 ;(2) Spark 技术。该计算机软件技术是 大数据分析引擎, 包括 Graphx、Spark Core、MLlib 和 Spark SQL 等,内设 Spark SQ(运用 SQL、HQL 查询语 言)和编程语言,支持大数据查询操作,具有较强的扩 展性和通用性,执行速度较快 [8]。其中,Spark SQL 适 用于不同类型数据源,如 ：Hive 表、JSON 格式等。不 同计算机软件技术协调配合,共同为大数据查询提供了 可靠的支撑,也为大户数业务的发展奠定了坚实的基础。 3.4 在大数据计算中的应用大数据时代依托计算机软件技术成功开发出高效 的大数据计算引擎, 例如,Spark Streaming、Flink、 Spark 以及 Storm 等。大数据计算引擎属于计算机软件 技术,划分为离线、实时两大类计算引擎。其中, Spark 是代表性的离线计算引擎 ;Flink 和 Spark Streaming 则为实时计算引擎,计算速度精确到毫秒或秒,延时量 相对较大,能够以 T+1 秒为基准进行评估。而批量化的 大数据计算任务则主要由 Storm 来完成。Flink 计算引 擎占据着重要的位置,数据处理操作,为数据库内数据 的有效存储提供了保障,但在实际运行过程中存在内存 占用量较大的弊端。

　　3.5 在大数据可视化中的应用

　　前端软件包、JavaScript 等是常用的前端软件开发 技术,实现了大数据可视化功能,可以运用前端页面对 数据信息进行呈现、展示,构建数据可视化管理模式。 以大数据时代企业实际运营管理工作需求为例,在了解用户大数据基础上,在前端借助与电子地图相近的方式 将数据信息在版图中呈现出来, 依靠视觉化的图形来清 晰、快速地分析信息。数据表格、报表、图例等是主要 的大数据展示种类。在实现大数据可视化功能时,应保 证前端软件界面、后端数据查询代码有效搭配,并通过 CSS、HTML5 和JS 等前端语言完成编写任务。ECharts、 Highcharts 等是当下应用较为广泛的可视化前端计算机 软件工具平台,具有集成化的特征。以 ECharts 开源可 视化为例,其包括不同行业中各类图表,比如,雷达图、 柱状图及折线图等,可以在前端展示数据,支持开发工 作者对图例进行自主开发、定义。

　　4 结语

　　作为大数据技术的基础,计算机软件技术在不断更 新发展的过程中,形成了大量先进的软件工具、先进的 编程语言、集成化的软件框架,复杂程度大大提高,在 大数据采集、存储、前端展示等方面均发挥着重要的作 用。在大数据技术应用范围日益扩大的背景之下,计算 机软件技术迎来了全新的发展机遇,通过创新计算机软 件技术,可以持续优化大户数时代信息处理方式,构建 出全新的信息处理、应用方式,彰显计算机软件技术在 大数据中的应用价值,实现智能化、多功能应用,推动 二者的同步发展。

　　参考文献

　　[1] 陈世光.大数据视域下我国计算机软件的技术类型及具体应 用探究[J].智慧中国,2023(4):84-85.
　　[2] 李松涛.基于大数据背景的计算机应用技术发展分析[J].华 东科技,2022(10):66-68.
　　[3] 武贺斌.基于计算机软件技术的模式识别软件系统开发[J]. 软件,2022.43(10):79-81.
　　[4] 张雪莲.计算机软件技术在大数据时代的应用分析[C]//香港 新世纪文化出版社.2022年第二届创新人才培养与可持续发展 国际学术会议论文集(中文).2022年第二届创新人才培养与可 持续发展国际学术会议论文集(中文),2022:261-262.
　　[5] 任晓英.探究大数据技术在计算机软件系统开发中的应用 [J].中国信息化,2023(4):55-56.
　　[6] 李佩,朱秋霞.基于大数据技术的计算机软件应用[J].集成电 路应用,2023.40(5):160-161.
　　[7] 韦霞.大数据视域下计算机软件技术的开发与应用[J].数字 技术与应用,2022.40(10):88-90.
　　[8] 吴小华.大数据时代计算机软件技术存在问题及对策研究 [J].软件,2021.42(12):113-115.
 
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！

文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/65387.html