基于 Hadoop 的河北行业气象服务大数据云平台设计与应用论文

SCI论文（www.lunwensci.com）

　　摘 要 ：随着大数据产业的蓬勃发展和全社会对气象服务需求的日益增长,气象大数据与各行各业数据平台的融合应用越 来越广泛。而传统气象数据的存储和运算方式,难以同时高效支撑多个行业、高时空分辨率的气象数据生产和传输要求。因此 该方案基于 Hadoop 技术建设河北省行业气象服务大数据平台,通过分布式存储、分布式计算,快速接收原始气象数据、通过 插值等方法对气象数据进行时空降尺度、通过行业专项预报指标和模型快速计算相关气象服务产品,最终生成支撑能源电力、 交通运输等多领域气象监测预报服务产品,得到了很好的应用。为河北省构建气象大数据产业发展生态环境、提升气象信息产 业化发展以及保障地方经济社会发展提供了有力支撑。

　　关键词：Hadoop,大数据,气象服务,平台,设计


　　【Abstract】： With the vigorous development of big data industry and the growing demand of the whole society for meteorological services, the integration and application of meteorological big data and data platforms of all walks of life are more and more extensive. However, the traditional storage and operation methods of meteorological data are difficult to efficiently support the production and transmission requirements of meteorological data with high spatial and temporal resolution in multiple industries at the same time. Therefore, the scheme is based on Hadoop technology to build a big data platform for industry meteorological services in Hebei Province. Through distributed storage and distributed computing, the scheme can quickly receive original meteorological data, conduct time-space downscaling of meteorological data through interpolation and other methods, quickly calculate relevant meteorological service products through industry specific forecast indicators and models, and finally generate meteorological monitoring and forecasting service products supporting energy, electricity, transportation and other fields, it has been applied well. It provides strong support for Hebei Province to build the ecological environment for the development of meteorological big data industry, promote the industrialization of meteorological information, and ensure the local economic and social development.

　　【Key words】： Hadoop;big data;meteorological services;platform;design


　　0 引言

　　随着各行各业和社会公众对气象服务需求的日益旺盛 和气象信息化的快速发展,气象数据呈几何级数增长 [1]。 传统的气象数据挖掘大部分为单机模式,建立气象大数 据云平台是气象信息网络智能化发展的趋势 [2],能够更 加充分利用气象数据并深入挖掘其价值 [3]。Hadoop 是一 种分布式系统架构 [4.5],其核心组件有 3 个 ：(1) HDFS (Hadoop Distributed File System ：分布式文件系统), 它是 一个高可靠、高吞吐量的分布式文件系统 [6],由很多服务 器联合起来实现其功能,集群中的服务器有各自的角色, 用于存储文件,通过目录树来定位文件。HDFS 适合一 次写入,多次读出的使用场景。(2) MapReduce(分布 式计算框架),它是一个分布式的离线并行计算框架,用 于海量数据运算分析 [7]。MapReduce 核心功能是将用 户编写的业务逻辑代码和自带默认组件整合成一个完整 的分布式运算程序,并发运行在一个 Hadoop 集群上。 MapReduce 将计算过程分为两个阶段 Map 和 Reduce, Map 阶段并行处理输入数据, Reduce 阶段对 Map 结果 进行汇总。(3) Yarn,这是作业调度与集群资源管理 的框架,采取经典的主从式(Master-Slave)分布式 结构 [8]。Yarn 是一个资源调度平台,负责为运算程序 提供服务器运算资源,相当于一个分布式的操作系统平 台,而 MapReduce 等运算程序则相当于运行在操作系 统之上的应用程序。Hadoop 具有开源、可靠稳定、可 扩展、低成本等优势 [9], 已广泛应用于城市轨道交通、 电力、农业等多种行业的数据存储与计算领域 [10-13]。

　　在气象大数据云平台建设方面,山东、海南、广 西均介绍了当地的存储技术和实现过程 [1.14.15]。河北省Hadoop 行业气象服务大数据云平台(简称云平台)的 特点在于集成多种行业气象服务指标算法,快速生成行 业用户关注范围内格点化的气象实况和预报预警服务产 品,同时支撑气象业务系统和行业部门应用系统,同时 支撑京津冀交通气象中心以及省内电网、电厂、铁路、 公路等多部门快速共享气象信息,在气象灾害防御和气 象资源趋利避害方面发挥重要作用。

　　1 云平台系统架构

　　河北省 Hadoop 行业气象服务大数据云平台系统架 构示意图如图 1 所示,利用 Ambari 用于整体的配置,进 行管理和监控 Apache Hadoop 的集群。Ambari 还提供 了一个直观、易用的 Hadoop 管理 Web UI 界面。Yarn 作为资源调度平台, 负责为 MapReduce 等运算程序提 供服务器运算资源,相当于一个分布式的操作系统平台, 用于管理和调度各种细粒度的任务,包括格点实况的订 正和交通气象风险指数等行业专项预报产品的计算任务 等。Hbase 是一个 NoSQL 数据库, 运行于 HDFS(包 括一个 NameNode 和多个 DataNode 等) 文件系统上, 用于存储来自于前端的各种实况、预报数据以及运算得 出的各种预报数据。Zookeeper 作为一个分布式的服务 框架,主要用来解决分布式集群中应用系统的一致性问 题。MongoDB 是基于分布式文件存储的数据库,主要 用于存储地理信息数据和进行空间地理位置的计算等。 Nginx API 用于将各种客观化服务产品通过接口的形式 对外提供发布。


　　2 云平台数据流程

　　河北省 Hadoop 行业气象服务大数据云平台的数 据来自河北省气象局“天擎”大数据云平台资源池,读取气象实况、预报等多源数据后,进行解析和判识,最 终支撑气象服务业务人员在业务平台上使用,同时按照 行业用户需求以对应形式传输至用户端,流程如图 2 所 示。云平台从资源池实时读取京津冀及周边 3000 余个 地面气象观测站逐 1h、部分逐 5min 的观测数据、雷 达探测数据等,读取国家级业务单位下发的以及本省智 能网格实况和预报数据(空间分辨率 1 ~ 3km),以及 空气质量等行业实况和预报数据。(1)将原始数据通 过 Flume 存储到 Hbase 数据库中 ;(2)进行数据解 析、判识及处理 ：首先是通过预先设定的指标进行数据 质量分析、标识和监控报警 ;其次是结合自主研发的指 标、算法,对实况和预报数据进行时空降尺度、数据订 正、反演至用户关注范围(如高速公路、铁路沿线)处 理 ;(3)结合本地模型算法,利用实况和预报数据,计 算站点及格点化的行业专项范围产品,例如用电负荷指 数、高速公路雾灾风险预报等 ;(4)将处理后的数据传 输至上层气象服务业务平台经订正后向行业气象服务客户端网站和 App 进行发布,完成整个数据处理流程。


　　3 云平台应用实例

　　以河北省电力气象服务系统为例,气象部门基于 Hadoop 行业气象服务大数据云平台实时生产加工气象 服务产品,利用部署在国网河北省电力公司的“河北省 多源融合可视化电力气象服务平台”实时接收气象服务 产品,为国网河北省电力公司提供气象监测和预报预警 气象保障。两个平台之间利用通信专线进行数据传输, 电网侧平台部署于生产管理区即安全Ⅲ区,包括双机互 备的 2 台物理服务器和 1 台云虚拟服务器。文件服务器 上部署了 SFTP 用于接收气象数据产品,云虚拟服务器 上部署了 Web 网站程序和文件解析入库程序。网络部 署图如图 3 所示。


　　河北省电力气象服务系统总体设计拟采用经典云平 台的设计思路, 采用面向服务的 SOA 架构。平台共分 为智慧应用层(SAAS)、服务支撑层 (ASP)、技术支撑 层 (PASS)、数据资源层 (DASS) 和基础设施层 (IASS)等五个层次,系统总体架构如图 4 所示。


　　(1)应用层由精准防灾子系统、智慧调控子系统、 统计查询子系统、配置管理子系统组成。应用层访问方 式包括 App 和 Web 客户端两部分组成。系统同时提供 对接资源中台和第三方应用的公共气象 API 服务接口, API 服务接口遵守电力部门业务中台开发规范,使用微 服务开发框架进行功能开发,具备纳入资源中台的能力。

　　(2)服务层包括空间信息服务支撑分系统、气象信 息服务支撑分系统、电力气象服务支撑分系统和辅助决 策服务分系统 4 类服务支撑系统,其中空间信息服务支撑分系统提供地理信息相关服务能力 ;气象信息服务支 撑分系统提供气象信息(包括实况、预警、预报、专项 产品、专题产品、格点数据、卫星雷达产品、火点监测 数据等)相关的服务能力 ;电力气象服务支撑分系统一 方面提供基于精准的气象信息和电力设施位置信息以及 设施的承灾能力进行融合分析能力,并具备气象灾害感 知能力 ;另一方面提供基于未来预报预警信息和电力负 荷预测模型融合进行负荷预测的能力 ;辅助决策服务分 系统提供气象灾害的辅助决策、辅助处置能力。

　　(3)技术支撑层包括支撑系统运行的基础信息技术支撑功能,包括 GIS 地理信息服务、文件存储服务、信 息安全、机器学习、MQ 消息中间件、Docker 容器等。

　　(4)数据层采用标准的数据接口,聚合各种气象数 据(包括实况、预警、预报、专项产品、专题产品、格 点数据、卫星雷达产品、火点监测信息等)、基础电力 设置设备信息 ( 包括地理信息、设施承灾能力信息等 )、 融合模型信息、历史灾害资料等信息,是整个项目的数 据资源池。


　　(5)基础设施层指基础设施中心,依托国网河北省 电力公司的云计算基础设施平台的服务器资源、网络资 源以及数据库资源等基础的软硬件资源,主要由硬件集 群、网络集群、数据库、系统软件以及操作系统 (OS) 等构成,为各项数据的存储管理承载和应用程序服务的 运行提供基础的软硬件资源。

　　4 结语

　　基于 Hadoop 技术开发的河北省行业气象服务大数 据云平台,实现了气象数据和服务产品的安全存储、精 确运算、快速分发,同时支撑多个行业气象服务保障业 务,大大提升了气象数据产品的时效性,降低了预报服 务人员制作产品的效率,在灾害性天气影响期间,能够 让行业用户第一时间获取相关气象监测预报预警信息, 快速采取防御措施,为气象防灾减灾奠定了坚实基础。 河北省电力气象服务系统已经成熟运行 3 年有余,为电 力部门防御气象灾害、充分利用气象资源提供了有力支 撑和保障。

　　参考文献

　　[1] 王双双,杜建华,王立俊晖,等.基于气象大数据云平台的海南 气象数据共享平台设计与实现[J].计算机测量与控制,2022.30 (10):222-226.

　　[2] 王立俊,杜建华,刘骥超,等.基于决策树挖掘算法的气象大数 据云平台设计[J].计算机测量与控制,2022.30(11):140-145.

　　[3] 苏敏.大数据时代气象数据分析应用方向探析[J].黑龙江环 境通报,2022.35(1):144-145.

　　[4] The Apache Software Foundation Hadoop[EB/OL]. (2015-07-08)[2015-08-16].http://hadoop.apache.org/.

　　[5] 王铭,田茂,赵鑫,等.基于Hadoop平台的数据迁移方法研究 实现[J].计算机测量与控制,2018.26(4): 225-230.

　　[6] BORTHAKUR D.The Hadoop Distributed File System: Architecture and Design[J].Hadoop Project Website,2007. 11(11):1-10.

　　[7] LEE K H,LEE Y J.Parallel Data Processing with Map Reduce:A Survey[J].Acm Sigmod Record,2012.40(4):11-20.

　　[8] 张博.Hadoop2.0系统中的资源分配与动态监控实践[J].电 子技术与软件工程,2021(5):201-205.

　　[9] 张黎平,段淑萍,俞占仓.基于Hadoop的大数据处理平台设 计与实现[J].网络信息工程,2022(20):74-76.

　　[10] 朱东升,徐石明,李天阳,等.基于Hadoop平台的地铁NCC 数据中心方案研究[J].计算机测量与控制,2017.25(12):224- 227.

　　[11] 朱嘉斌.基于Hadoop+MPP架构的城市轨道交通大数据中 心建设方案[J].城市轨道交通研究,2022(5):54-57.

　　[12] 周晓,朱晗雨.基于Hadoop的高压输电线路合闸故障诊断 方法[J].数字制造科学,2022.20(2):104-110.

　　[13] 宋昌,罗光华. 基于Hadoop架构的大数据平台在水稻病虫 害监测中的应用[J].电脑知识与技术,2022.18(27):59-60.

　　[14] 陈剑飞,史彩霞,王振国.基于行业气象服务的基础数据支 撑平台研发与应用[J].气象研究与应用,2022.43(2):117-121.

        [15] 周笑天,冯勇,陈益玲,等.基于Hadoop的气象数据分布式 存储技术[J].信息技术,2022(1):68-74.
 
 
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！

文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/54399.html