SCI论文（www.lunwensci.com）
摘 要：综合利用分布式存储与管理技术、台站元数据质量控制、基于消息的数据同步接口等关键技术,将原有元数据由 月、年定时数据收集方式改为实时收集、存储和服务。实现了由文件管理到数据库管理的切换,提升了气象台站元数据实时质 量控制、管理和应用的水平,强化了台站元数据从收集到提供应用全流程的业务管理能力,完善了相关业务流程和规范,实现 了与实时 - 历史气象资料一体化业务系统的无缝衔接,建立了台站元数据国家级管理与应用、省级质量控制和管理、台站数据 收集与修正的三级管理业务体系。为实现管理科学、分工合理、服务便捷的现代气象资料业务提供必要的业务技术支撑。该成 果已集成到 MDOS 系统中,并在全国气象部门业务应用。
关键词：气象台站元数据,实时同步,质量控制,处理流程
The Metadata Management System of the Meteorological Station Based on Distributed Storage and Data Synchronization Technology
LI Chan, LIU Huanli, LIU Yuqing, HAN Mingzhi
(Meteorological Information Center in Hebei Province, Shijiazhuang Hebei 050000)
【Abstract】： Based on the key technologies, including: Distributed storage and management technology, methods of metadata quality control and data synchronization interface technology. This management system changed the metadata collection mode from monthly, annual timing mode to time-varying mode. Then the metadata is in storage and service timely. This transformation makes data base management coming true from previous file management. The levels of timely metadata quality control and application are all enhanced obviously in this management system. The capacity of management is strengthened in meteorological station metadata collection and application. This system also improves and prefects the operation flow and standards of practice. This system connects with the real-historical data integrative system closely and thickly. At last, this system establishes a three- stage professional work system, including: National manage and use level, provincial quality control and manage level, and meteorological station in collection and correction level. All those supply a technical support in scientific management, reasonable division and convenient service in modern metrological data service. This result has been integrated in MDOS system, and it is applied in our professional work in national meteorological departments.
【Key words】： metadata of meteorological station;data synchronization timely;quality control;operation flow
气象台站元数据用于记录气象台站建立以来的发展 变化历程。这些数据包括台站名称、区站号、台站位 置、观测场环境、观测要素、观测仪器、观测时间与时 制等信息的变更等。气象台站元数据主要包含台站基本 信息、相关信息、附加信息和历史沿革信息 4 类信息。台站元数据信息成为研究人员检验订正气候资料序列的 重要参考依据 [1-7]。
气象台站元数据信息是基础气象资料的一个重要组 成部分,但迄今为止,虽然通过基础气象资料建设收集 了地面、高空、农气等台站元数据信息,但元数据信息不完整且未经严格质量检测,而且在专项工作结束之 后,因缺少业务保障机制,台站元数据也没有及时更新 和追加。因此,建设分布式元数据管理系统,检查历史 数据的正确性,解决元数据同步更新的一致性是本系统 设计的关键。
自 2011 年开始,河北省气象信息中心一直致力于 气象台站元数据资料质量控制技术、更正流程和信息反 馈系统等技术的研究,旨在对台站历史沿革数据和更新 的元数据信息进行实时有效监控,使得台站元数据为气 象业务提供有力支撑。在相关项目支持下,已初步建成 台站历史沿革数据的质量控制和评估系统,正在建设气 象台站元数据管理平台。本文拟提升台站元数据质量控 制和评估技术,集成现有台站元数据处理、管理技术成 果,建设台站元数据管理和应用系统,实现对台站元数 据的质量控制、管理和应用, 建立台站元数据的国家 - 省 - 台站三级双向反馈系统,在此基础上实现与实时历 史气象资料一体化系统(以下简称 MDOS)的衔接。
1 系统设计
1.1 系统架构
系统分为 4 个部分 ：国家级系统、省级系统、台站 级系统、消息通信系统。
台站级系统具有气象台站元数据的添加、删除、修 改和索引服务等功能,其中添加、删除、修改操作需要 向省级系统提交申请,在省级审核完成后接收审核结果。同时也可对疑 / 误数据进行提交修改申请,接收省 级的疑 / 误通知并反馈。省级系统审核台站系统提出的 添加、删除、修改等操作的申请,并将审核结果通知台 站。疑 / 误数据更正申请如果审核通过则直接更正数据 并通知台站,若未通过审核则通知台站并需获取台站反 馈意见后进行更正。省级系统负责气象台站元数据文件 导入并进行数据一致性检查功能。国家级系统具有数据 的汇总、浏览、归档及仓储服务功能,同时接收省级上 报的气象台站元数据变动信息及疑 / 误更正信息,并对 信息进行汇总归档。三级系统之间的信息传递及数据同 步通过消息通讯系统实现(如图 1 所示)。
1.2 系统业务流程
气象台站元数据管理系统将业务流程规范分为三 级 ：台站级、省级和国家级。台站级气象台站元数据管 理业务包括新建台站的申请、台站信息变动申请、台站 信息更正申请以及省级反馈问题处理等,省级气象台站 元数据管理业务包括审核建站申请、台站信息变动申 请、台站信息更正申请等,国家级气象台站元数据业务 主要负责实时收集全国的气象台站元数据、质量评估并 向全国广播更新数据等。通过对其业务流程进行严格规 范化,保证了数据准确、稳定的传递。
1.3 系统主要功能和实现技术
1.3.1 系统主要功能
系统主要由台站元数据管理、元数据质量控制、元数据疑误信息处理、数据同步和数据应用等 5 个功能模 块组成。
(1)气象台站元数据管理功能模块。根据行业通用 标准,建立气象台站元数据的数据库,设计基于 Web 的管理系统。系统主要功能具体包括气象台站元数据的 编辑(增、删、改)功能、气象台站元数据存储功能和 气象台站元数据目录服务功能,以及气象台站元数据历 史沿革文件的导入、导出、格式及质量检查功能。
(2)气象台站元数据实时质量控制模块。根据现有 的气象台站历史沿革数据质量控制方案并加以补充完 善,对实时上传的台站元数据资料质量控制软件进行 适应性调整,开发能够对元数据进行实时质量控制的软 件。针对原有元数据的月、年数据采集方式,改为实时 采集,实现数据库管理机制。根据元数据采集和上报方 式的变化,加强元数据功用的增值开发,进一步提升了 元数据的应用价值。
(3)气象台站元数据疑误信息处理功能模块。当用 户发现气象台站元数据信息有疑误时,所进行的疑误处 理流程。用户分为台站级、省级和国家级三类用户,台 站级和省级用户提供采用人工输入和审核方式更正疑误 信息,国家级用户提供疑误报文上传更正疑误信息。整 个疑误处理流程中所涉及到的所有阶段操作和相关人员 都以固定数据形式保存在数据库疑误流程日志表中。
(4)气象台站元数据的同步功能模块。依据现有的 气象观测数据业务流程和气象数据管理办法,设计同步 机制确保国家级、省级和台站级气象资料、气象台站元 数据、疑误信息等相关信息保持严格一致,实现三级数 据实时更新。同步机制利用现有的通信设备和软件,在 确保满足现有业务需求的前提下通过定义消息结构和消 息传输协议,实现最大限度的工作流程自动化。
(5)气象台站元数据应用服务模块。实现并提升省 级气象台站元数据管理和应用的水平,强化气象台站元 数据从收集到提供应用全流程的业务管理能力以及完善 相关业务流程和规范,与实时 - 历史气象资料一体化业 务系统的无缝衔接,实现台站元数据国家级管理与应 用、省级负责质量控制和管理、台站负责数据收集与更 正的三级管理和应用体系,为实现管理科学、分工合 理、服务便捷的现代气象资料业务提供必要的业务、技 术支撑。
1.3.2 系统功能实现技术
本系统中主要用到元数据分布式存储技术、元数据 质量控制和利用消息进行数据之间的同步技术。
(1)分布式存储技术。
分布式存储, 是一种数据存储技术。将数据分散存 储多个标准 x86 架构服务器上,利用每台服务器内部的 存储资源,通过部署存储功能软件使每台服务器转化为 具有标准存储功能的节点,采用高速网络连接技术将所 有节点互联,把散的存储资源构成一个逻辑整体的存储 资源池。
分布式存储将业务数据分散到各个存储节点上,利 用多台服务器的集群分担存储业务负载,为存储系统提 供有效的可靠性、可用性与安全性。分布式存储使数据 实现“分散存储,集中管理”,存储架构由客户端或应 用端、元数据服务器和数据节点服务器组成。本系统在 MDOS 中应用时,国家级数据库相当于元数据服务器, 31 个省份作为数据节点服务器。
元数据因为数据种类繁多, 历史数据存储量大,为 了提高元数据的读取性能,故采用分布式存储,将数据 分散存储在各个省份,省份之间的数据相互独立,在其 中的某个服务器出现故障时不会对整个系统造成太大的 影响。
(2)元数据质量控制。
数据质量控制是指采用一定的技术方法措施,使数 据在采集、存储、传输中满足相关的质量要求,改善和 提高组织的管理水平使得数据质量获得进一步的提高。
数据质量控制主要是实时数据质量控制和历史数据 质量控制两种。
该质量控制模块的实时数据质量控制在数据上传时 进行,根据阈值、台站信息的固定格式,等编制质量质 控方法进行数据质量控制。历史数据质量控制则是对数 据库中存在的数据进行质量控制,根据历史数据的时间 连续性、数据的完整性等方法进行数据质量控制。
(3)消息发送实现数据同步。
AMQP, 即 Advanced Message Queuing Protocol, 高级消息队列协议,是应用层协议的一个开放标准,为 面向消息的中间件设计,消息中间件主要用于组件之间 的解耦,消息的发送者无需知道消息使用者的存在,反 之亦然。
消息传输的服务器采用 RabbitMQ,客户端传输接 口采用 Java 进行开发, JDK 版本 1.7. 对客户端的收发 功能进行接口封装,消息收发直接调用相应的接口。
RabbitMQ 是实现了高级消息队列协议(AMQP) 的开源消息中间件, RabbitMQ 服务器是用 Erlang 语言 编写的,支持多种客户端。用于在分布式系统中存储转 发消息,在易用性、扩展性、高可用性等方面优势明显。
各个省份与国家级之间是依据消息队列传输来维持数据之间的同步。
RabbitMQ 消息发送机制是消息进入交换机后, RabbitMQ 会通过“Routing Keys”找到应该传输的 消息的队列,然后通过交换机进行发送,如果消息正常 接收则该消息就会被从队列中移除,如果没有消息接收 方,则该数据被缓存,不会丢失。
消息传输分为消息头和消息体,通过把消息封装成 为一个消息类,作为参数调用接口进行发送消息,目前 元数据消息的种类包含元数据更新消息、元数据更正消 息、元数据附加信息消息、元数据考核类消息。
2 效益分析
通过本系统的建立,解决了以往气象资料在国家局 和省局,甚至省局内部出现严重不一致,影响气象业务 和气象信息服务质量的问题,提升了省级气象台站元数 据实时质量控制、管理和应用的水平,强化了台站元数 据从收集到提供应用全流程的业务管理能力和完善相关 业务流程和规范,并通过实现与实时 - 历史气象资料一 体化业务系统的无缝衔接,实现台站元数据国家级管理 与应用、省级负责质量控制和管理、台站负责数据收集 与更正的三级管理和应用体系,为实现管理科学、分工 合理、服务便捷的现代气象资料业务提供必要的业务、 技术支撑。
3 结语
通过本系统的建立,可满足国家、省级和台站级数 据实时同步、更新自动化的要求,并将原有元数据的月、年定时数据收集方式改为实时收集、存储和服务, 实现了由文件管理到数据库管理的切换。该系统的主要 创新点如下 ：(1)建立了数据信息的国家 - 省 - 台站三 级实时双向反馈流程,实现台站、省级和国家级上下互 动的快速反馈机制,实现了国家级、省级、台站之间的 数据实时同步 ;(2)完成了气象台站元数据管理和应用 系统设计开发,实现了台站元数据实时质量控制、存储 管理和服务。目前,该系统已集成到 MDOS 系统中, 并完成在全国气象部门推广使用,为提升我国气象资料 的质量,保障数据的一致性提供了技术支撑。
参考文献
[1] 吴增祥,臧海佳. 《气象台站历史沿革数据文件格式》标准 设计[J].气象科技,2007(03):439-441.
[2] 张智,林莉,周红.宁夏地面气象台站元数据变化特点及质量 评估[J].气象科技,2014.42(2):219-224.
[3] 吴增祥.气象台站历史沿革信息及其对观测资料序列均一性 影响的初步分析[J].应用气象学报,2005.16(4):461-467.
[4] 吴利红,康丽莉,陈海燕,等.地面气象站环境变化对气温序列 均一性影响[J].气象科技,2007(1):152-156.
[5] 高凤姣,李长军.山东省45年年平均气温均一性检验[J].气象 科技,2007(5):744-749.
[6] 王钰,黄少平.江西省地面气象台站沿革及其对观测资料序 列均一性的影响[J].气象与减灾研究,2008.31(4):43-47.
[7] 中国气象局.地面气象观测规范[M].北京:气象出版社,2003.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！
文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/53896.html
