SCI论文（www.lunwensci.com）
摘 要：大数据技术以云计算为主要技术依托,作为新兴的计算机技术具有高涵盖性、颠覆性等特点,其处理数据的过程 主要包括数据采集、数据处理和集成、数据分析以及数据解释等流程。基于其主要特点以及技术依托,大数据技术被广泛应用 于数据处理的过程中。针对大数据技术在数据处理过程中的应用,本文对其在信息采集与加工、虚拟资源调度、数据挖掘、数 据信息的安全保障、数据解释等方面的应用展开了论述。
Application Research of Big Data Technology in Computer Data Information Processing
DU Guangda
(Liaocheng Industry and Finance Integrated Services Co., Ltd., Liaocheng Shandong 252000)
【Abstract】：Big data technology relies on cloud computing as the main technology. As an emerging computer technology, it has the characteristics of high coverage and subversion . The process of processing data mainly includes data collection, data processing and integration, data analysis, and data interpretation. Based on its main characteristics and technical support, big data technology is widely used in the process of data processing. Aiming at the application of big data technology in the process of data processing, this paper discusses its application in information collection and processing, virtual resource scheduling, data mining, information security assurance, data interpretation and other aspects.
【Key words】：data information processing;big data technology;application
0 引言
由于计算机使用的普及以及网络用户的激增,数据 信息的体量显著上升,大数据技术的产生使得数据信息 处理更加快捷,因此受到了广泛的关注。本文针对大数 据技术以及大数据技术应用的相关问题展开了论述。
1 大数据技术的概念及特点
1.1 大数据技术的概念
大数据技术是以大数据为基础的应用技术。可以将大 数据理解为由专业的工作人员借助先进的数据搜集技术把 产生于生活与工作的各类数据进行汇总, 然后运用相关数 据信息处理技术对数据展开集中处理, 然后将处理过的数 据进行存储,使得数据可以被长期使用的过程 [1] ,也就是 说在大数据过程中所使用的技术都属于大数据技术。
1.2 大数据技术的特点
1.2.1 应用范围广
大数据技术应用范围较广,主要表现在以下两个 方面 [2]：
(1)大数据技术能够服务的领域较多。例如机械生 产领域,这些领域在大数据技术的加持下信息处理速度 得到提升,生产效率也得到了提高。
(2)大数据技术可以涵盖人们生活的方方面面。例 如,大数据技术能够应用于金融教育工作中,应用大数 据技术来模拟真实的金融业务流程。再如,淘宝、京东 等购物软件,能够通过用户的浏览类型以及浏览时间, 为用户提供更多符合其喜好的商品,也正是基于大数据 技术。
1.2.2 数据体量大
大数据技术不同于普通的计算机技术,作为以大数 据为基础的应用技术,大数据技术的出现是对计算机信 息处理技术的一种颠覆性的变更。大数据技术不是针对 某一特定领域的数据信息进行整理与处理,而是能够对 人们日常生活与工作中的多类数据信息进行系统性整合, 相较于传统的数据处理方式能够承载更大的数据体量。
2 大数据技术及技术依托
2.1 大数据处理流程
2.1.1 数据采集
数据体量大、数据类型杂是大数据的显著特征。数 据采集工作是大数据处理中的一个基本性流程,所有的 工作都要在完成数据采集工作的基础上展开。现阶段使 用范围较广的数据采集方法主要有传感器采集法、射频 识别法以及数据检索分析法等。
2.1.2 数据处理和集成
数据的处理与集成工作,需要针对采集到的各类数 据依次完成数据筛选、数据分类、数据清洗去噪等工作 内容,完成这些工作内容后需要针对处理好的数据进 行集成存储,使数据可以被长时间使用。而数据仓库、 ETL 数据转换的出现显著提高了数据处理与集成的效率。
2.1.3 数据分析
大数据处理流程最为重要的是数据分析。数据分析 的主要作用是能够在大体量数据中,得到具有一定价值 的数据信息。但传统的计算机数据处理分析方法已经无 法从大体量数据中提取出关键信息。近些年研发的分布 式文件系统、OLAP 在线分析处理、分布式数据库、大 数据离线批量处理等能够显著提升数据处理能力和数据 处理效果,满足用户的各类个性化需求。
2.1.4 数据解释
信息时代下, 数据信息的体量持续升高, 数据分析 工作的复杂性与难度也在逐渐增加,为了提高数据解释 的效率以及数据展示的效果, “可视化技术”被广泛应 用于数据解释流程。可视化技术能够将数据分析的结果 迅速、直观地展示给用户,使用户能够更快的理解数据 分析的结果。现阶段常用的可视化技术主要包括基于图 标的技术、面向像素的技术、分布式技术以及基于集合 的可视化技术等。
2.2 大数据技术的依托
云计算作为一种占据重要地位的计算机概念,目前 也是大数据技术的依托。可以将云计算中的“云”理解为 一个虚拟的存储空间, 这一虚拟存储空间能够存储基础设 施、平台以及软件等 [3]。
2.3 大数据处理工具
由于需要处理的数据的体量与复杂程度不断上升,以 关系数据库模式作为重要依托的数据处理方式无法满足 现阶段的数据处理需求。基于大数据处理,现阶段已经 研发出了许多大数据处理工具, MapReduce 、HDFS、 ApacheDrill 等大数据处理工具在数据处理上取得了良 好的效果。Mapreduce 能够应用于大规模数据集的并 行运算,适合大规模应用。而 RapidMiner 作为较为先 进的大数据处理工具,也具有较高的数据处理效果,其 具体特点如下：(1)数据挖掘任务涉及范围很广泛,能 够适用于各类数据技术;(2)能够为用户免费提供数 据挖掘技术;(3)完全使用 Java 代码,具有较高的安 全性与动态性;(4)数据挖掘过程更为简单,在一定程 度上提高了数据处理的效率;(5)内部的 XML 确保了 格式的标准化,减少了由于格式错误导致的工作效率低 下;(6)能够以简单的脚本语言自动完成大规模进程, 具有较高的智能性;(7)支持多层次的数据视图,能够 确保数据的有效性和透明性。
3 数据可视化技术在数据信息处理中的应用
3.1 应用于信息采集与加工
可以通过大数据技术进行信息采集系统与信息处理 系统的搭建。由于利用大数据技术搭建而成的系统所建 立的数据模型具有超出一般数据模型的时效性,可以更 快地针对网上的各类信息内容进行采集与处理。一般来 说,通过大数据信息处理技术与采集技术建立的数据模 型可以分为两大类。第一类是数据流处理模型;第二类 是批量数据处理模型。流数据模型能够针对数据处理技 术体系结构进行有效调整,经过调整后的结构能够使得 信息的筛选与采集过程变得更加科学与合理,确保经过 采集与筛选之后的数据都能够得到相应的处理。
3.2 应用于虚拟资源调度与数据信息挖掘
将大数据技术应用于虚拟资源调度和任务分配,能 够显著提高数据信息利用率,使得数据信息的处理更好 地服务于具体的工作方向,减少企业在数据信息处理中 所消耗的时间成本。可以将虚拟化资源的调度简单理解 为虚拟网络的科学配置,其主要作用在于确保资源分配 与虚拟存储的合理性。完成虚拟化资源的调度需要以下 3 步工作：(1)运用大数据采集数据针对所需要的各类 资源进行采集,并对采集的数据进行科学的存储管理; (2)建立资源优化技术体系,完成虚拟技术应用过程的 信息处理工作;(3)借助对云资源的划分与调控,建立 出一个具有完善体系的计算机应用与技术服务系统,这 一系统的建立可以实现数据信息围绕具体工作内容的针对性处理。
通过大数据技术完成数据信息挖掘工作,能够使得 信息数据的整合与分析工作更具时效性与准确性。在借 助大数据技术针对数据信息进行分析时, 应完成以下 2 步工作：(1)应搭建好以 Internet 的数据检索与数据 关联技术作为技术支撑的相关体系;(2)充分结合现阶 段流媒体平台的实际状况编制一种以网络平台为中心的 核心排序算法,利用这套算法提高数据信息处理的准确 性与高效性,进而确保信息数据挖掘工作的有效落实。 3.3 应用于数据信息的安全保障通常情况下,也可以将计算机数据信息处理的流程 简单概括为数据采集、数据存储、数据挖掘以及数据使 用 4 个步骤。无论数据信息处理进入哪一个步骤,都存 在着一定程度上的数据信息安全风险。使用大数据技术 进行完成数据信息处理工作,能够显著降低前 3 个步骤 中的数据信息安全风险。
(1)数据采集保护技术能够成功降低数据采集过程 中存在的数据信息安全风险。作为数据信息处理的核心 内容,需要进行处理的数据多数情况下体量较大、来源 众多,这导致了很多数据信息可能携带一定的安全漏 洞,数据采集保护技术能够及时去除带有安全隐患的数 据信息。
(2)使用大数据技术进行数据信息的处理能够加强 对存储数据的加密保护效果。虽然一般的计算机加密手 段能够确保存储数据的安全性,但技术成本较高,使用 该技术的同时,还会对资源的共享产生严重的限制。基 于此,有学者基于大数据技术提出了可行加密算法,不 但能够保证存储数据的安全性,还不会对资源共享产生 限制作用。
(3)使用大数据技术完成数据挖掘的保护工作,主 要有两种方式。第一个方式要通过大数据技术筛选出修 改支持敏感规则的数据,从而使得数据信息的规则支持 度得到保障,数据信息的安全也得到保障;另一种方式 是通过大数据技术筛选出不修改数据,从而直接隐藏生 成敏感规则的频繁项集,确保数据信息的安全。
3.4 应用于数据信息处理成果的呈现
将可视化大数据技术应用于数据信息的处理工作能 够优化数据信息处理结果的呈现效果。
(1)将可视化大数据技术应用于数据信息的处理能 够显著提高数据信息的对比效果。例如可视化大数据技 术能够直接以图像的形式体现不同企业的阶段性销量。 一般来说,如果是针对两个企业的不同产品之间的销量 进行对比,在使用可视化大数据技术对数据信息进行处理后,可以选择让数据结果以多变量柱状图的形式进行 展现,如果是针对不同企业的单一变量进行比较,可以 选择使用最基础的柱状图。而想要了解某个企业单一变 量或者多个变量在不同时间的数值则可以使用周期面积 图和折线图。可视化大数据技术这种以图像代替数据的 结果呈现方式,能够在一定程度上降低工作难度,提高 工作效率。
(2)将可视化大数据技术应用于数据处理能够使得 数据信息的分布情况更加清晰。查看数据的分布特征是可 视化大数据技术较为常用的情况之一, 在应用该技术的过 程中,可以选择折线图、散点图等数据结果显示方式,能 够很清晰地展示单个变量或者多个变量的数据分布情况。
(3)将可视化大数据技术应用于数据处理能够使得数 据结果的呈现变得更加动态。数据分为长期数据和短期数 据, 如果想查看短期数据结果可以选择堆叠比例柱状图和 堆叠柱状图等呈现方式。前者侧重于呈现数据之间的相对 比例,后者侧重于呈现数据的绝对组成。如果想查看长期 数据结果可以选择堆叠比例面积图和堆叠面积图。
(4)将可视化大数据技术应用于数据处理能够很直 观地呈现数据之间的相关性。传统的数据处理方式所呈 现的数据结果较为抽象,无法较快地判断出数据之间的 相关性。如果需要确定 2 个变量之间的相关性可以选择 散点图,如果需要确定 3 个变量之间的相关性则可以选 择气泡图,如果想确定 3 个以上的变量之间的相关性则 可以选择平行坐标。
4 结语
大数据技术在数据信息的处理过程中得到了广泛的 应用。将大数据技术应用于数据的采集过程,能够显著 提高数据的采集速度;将大数据技术应用于虚拟资源调 度能够使得数据处理更具针对性;将大数据技术应用于 数据信息挖掘,则可以提高数据的准确性与精确度;将 大数据技术应用于数据信息的安全保障,能够降低数据 处理过程中的安全风险;将大数据技术应用于数据处理 结果的呈现,则可以使得数据结果更加直观。总之,大 数据技术的应用使得数据处理更加科学与高效。
参考文献
[1] 柴巧叶 .大数据在计算机信息处理中的应用探讨[J].软件, 2021.42(12):44-46.
[2] 谷荣荣 .大数据时代计算机信息处理技术的应用研究[J].信 息与电脑(理论版),2021.33(19):5-7.
[3] 张继波 .大数据与计算机信息处理技术的应用[J]. 电子技术, 2021.50(8):246-247.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！
文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/58411.html
