SCI论文(www.lunwensci.com)
摘 要: 为 了贯彻落实习近平总书记提出的防灾减灾救 灾新理念,有效提升水旱灾害防御能力,建设湖南省水旱灾害 防御气象服务平台 。该平台基于湖南省气象局“天擎”大数据 中 心, 充分整合 “气象 + 水利 + 水文”数据, 采用JAVA 、 Python、HTML+CSS 等跨平台开发语言,B/S、SOA、“云 + 端” 架构,虚谷、StarRocks 2 .0 数据库研发,针对湖南省、市、县水利 部门、中小型水库和电站的本地化业务需求,提供基于位置的 流域和集雨区的面雨量预报、气象预报预警、来水预报 、水位 预报、入库流量预报和精准靶向预警信息发布等综合服务,有 效提升湖南省防洪调度、安全度汛、发电增效提供技术保障和 数据支撑。
关键词:水旱灾害 数据源 多源数据整合 信息共享
引言:据统计湖南省已建成并运行的水库共 13737座,约占全国水库总数的 1/7.居全国首位 。湖南省是气象灾害频发重发的 省份之一[1],每年因暴雨、干旱、台风影响等造成的经济损失达到上千万。过去虽然建设了很多气象服务平台[2-5],但其功能相 对分散,操作较为复杂,效率较低,容易出现数据丢失或异常情况[6] 。近年来,随着互联网、大数据、智能化等新技术的不断 发展,不断推动各行业科技产业的进步,如今,伴随气象事业的发展,多源、高密度、精细化的气象观测数据及和产品对数 据收集、分析、处理、记录和共享等提出了新的要求[7-10],在湖南省,各种业务系统小分散、大体量的现象比较突出,需要一个 统一的平台进行集约化整合,用户进行业务预报、预警 、决策需要一个统一的数据环境来提供数据支持和服务[11-13]。为切实 提升湖南省水旱灾害防御、防汛抗旱、水库安全度汛等工作效 能,充分发挥水利与气象部门优势,贯彻落实湖南省气象局和 湖南省水利厅共同签署的战略合作协议内容, 建设了湖南省水旱灾害防御气象服务平台 。该平台充分融合“气象 + 水文 + 水利”部门数据,无缝对接湖南省气象业务系统 、天擎大数据中心、突发事件应急精准靶向发布系统,为湖南省市县水利部 门 、 中小型水库和电站提供基于位置的水文气象监测预报预警服务 。本文重点阐述该系统的架构设计、功能设计、性能设 计、安全性设计及实现的关键技术和应用效果。
一、系统设计与实现
( 一) 系统设计
在统一的数据环境下, 该平台构建了湖南省气象部门数 据和产品信息的共享体系, 主要提供流域和集水区的定位降 雨预报,针对湖南省水利部门、中小型水库和电站的本地业务 需求, 同时提供准确的天气预报预警、来水预报、水位预报、 来水流量预报等服务,为湖南省防汛调度、安全度汛 、提高发 电效率提供技术支撑和数据支持。
(二)架构设计
平台选用“云 + 端”技术架构[8],采取“云端部署 、终端服 务”的模式建设,云端统一部署在湖南省气象局“天擎”大数据 中心,终端为服务对象,按照数据采集处理、数据建模分析、模 型计算分析、产品制作加工、产品服务应用为流程,以集约化、 可扩展为原则搭建;新建应用服务与现有业务平台融合集成、 标准化设计与开发,服务产品统一存储在云平台数据库中,提 供标准化接口和统一出口[9],该系统主要包括:平台客户端 、 API 服务 、业务层 、运行支持层 、数据层 、数据库和运行环境 。 (1)平台的客户端主要包含湖南省、市、县水利部门和气象局、 中小型水库和电站用户 。其中气象局用户主要是服务产品的 发布、订正与系统初始化配置与运行维护,其他用户为服务对 象,主要通过 WEB 网页的形式进行访问 。(2)业务层提供系统 访问的 API 服务,包含资源查询、降水数据管理、数据库管理、 项目信息管理、用户及权限管理等 。(3)运行支持层主要是系 统依托于气象内网,提供 HTTP 方式访问。(4)服务应用层实现 业务流程与服务,包含面雨量、流量、来水量、气象数据、站点数据、报文产品、报警设置、风云卫星切片、格点数据转换、雷 达数据转换等实现 。(5)数据层属于平台的底层,包含数据库 数据、系统缓存数据、系统静态资源文件等 。其主要用于空间 数据的存储、备份及数据的安全,为整个服务平台提供数据保 障 。(6)为了对运维数据和预报产品进行高效、准确、统一化管 理,同时也为了提高其访问速度,该平台包括 2 个数据库 。一 个是云平台的虚谷数据库,另一个是 Doris 数据库 。虚谷数据 库具有支持跨平台、支持多字符集、权限隔离的安全机制 、身 份验证、自主访问控制、基于标记的强制访问控制、数据库审 计 、存储加密等特点,是一 款高性能 、高安全 、高可靠的数据 库;Doris 数据库,它具有在线表结构变更 、两层分区 、列式存 储,高压缩比,多种索引、高基数精准去重等特性,可快速访问 和加速查询 。(7)运行环境:系统运行于虚拟机中,部署 1 台虚 拟机,包含服务站点、模型算法服务等。
(三)功能设计
根据业务需求及服务流程,对数据进行统一的整合 。该平 台主要功能有:信息收集与处理、数据存储与管理 、信息共享 服务和模型算法服务,建立了包含实况监测、综合预报 、预警 提醒、图文产品、专属服务、智能分析和三维 GIS 七大功能模 块 。(1)实况监测主要是通过接入流域内国家气象站、区域气 象站的降水实况数据, 对不同时间不同气象站的面雨量数据 进行查询、筛选、统计,基于站点值插值绘制色斑图在地图上 展示 。(2)综合预报主要是提供市内水库集雨区的降水预报、 来水预报,提供降水累计预报和降水分段预报,并将预报数据 与 GIS 结合,通过色斑图及格点值在地图上显示 。(3)预警提 醒主要是提供突发预警信号展示和提醒, 对关注的水库水位 情况进行超阈值报警 。(4)图文产品主要是发布多种气象要素 图文产品,针对账号所属地区提供省、市、县三级针对性气象 服务报文产品 。(5)专属服务主要是提供按区域范围、按特定 人员两种方式发布重要信息的功能, 用于对特定灾害的提醒 以及重要通知的传达 。(6)智能分析主要是提供历史预报信息 和历史实况信息的统计展示,与同期数据进行对比,为当地降 水情况进行辅助研判 。(7) 三维 GIS 主要是通过区域内 DEM 高程数据,对地形进行渲染,通过三维地图效果直观展示区域 范围地形情况、设施分布、降水分布等信息,提供模拟巡航飞 行功能。
( 四) 系统性能设计
系统性能设计是系统设计过程中的一个必要环节, 它在 系统架构设计中也非常重要 。系统通过转换机构把输入的物 流和信息流转变为输出的物流和信息流的各种参数值, 主要 包括响应时间设计、系统并发数设计、稳定性与可靠性 、可扩 展性和可维护性设计 、实用性与简便性设计及自动运行模式 设计 。(1)响应时间:系统投入运行后,保持 7 ×24 小时稳定运行;用户的操作响应需要得到保证,一般操作响应小于 1 秒; 复杂查询响应小于 3 秒,特殊操作可适当延长 。(2)系统并发 数:系统支持并发用户数不小于 190 个 。(3)稳定性与可靠性: 无论是硬件系统还是软件系统都必须具有一定的可靠性,因 此发布平台的计算机设备应选用中高档次的服务器来满足要 求 。(4)可扩展性与可维护性:系统应具有较好的可扩展性,为 应用系统的进一步扩充和升级提供方便 。系统一旦投入运行 就不能间断,除了要求收发软件本身具有良好的维护性外,还 应当拥有在离线维护环境, 不影响正常业务的情况下进行软 件维护 。(5)实用性与简便性:系统需要多部门共同使用,在充 分考虑系统实用性的同时,要注重信息发布的效率,满足不同 用户可以简单快速的完成信息处理与发布工作, 系统采用预 置固定模板、设置固定参数等方式提升发布效率 。(6) 自动运 行模式:软件为不间断自动运行模式,即除有必要的少量配置 文件需要修改外, 日常的业务均由系统按照参数配置自动运 行,勿需人工干预 。维护人员仅在系统报警提示的情况下,进 行非正常情况的人工干预或故障维修 。所有的故障状态和信 息系统都将自动记录和存储, 便于事后的故障对策和分析之 用。
(五) 系统安全设计
本系统作为 7 ×24 连续运行的大型数据库系统, 安全管 理具有极其重要的意义 。本系统数据库安全设计原则是基于 最小特权的原则, 此原则授予用户具有完成其任务的所必须 的最小的特权,而不应具有更多的特权 。数据库安全性分为如 下几个层次:安全规章制度、物理安全性、操作系统安全性、数 据库系统安全性、数据安全性 。系统使用防火墙和入侵检测来 防止攻击 。同时,从应用层面登录系统数据库时,需要通过手 机验证码进行验证,以防止隐私的泄露 。平台系统不仅对每次 观察到的数据进行记录、处理和存储,对其进行加密,而且对 删除或误删除的数据进行一定天数的恢复,以保证数据安全。
二、关键技术
( 一)数据源获取
该服务平台采用的气象资料和水文水利数据来源于湖南 省气象局“天擎”大数据中心,平台采用“云 + 端”业务模式,以 “天擎”大数据中心为云,并且由“端”实现与用户交互的功能, 包括后端管理(系统数据管理、系统产品管理、系统业务监控 管理) 和前端应用 (系统网页服务应用) 。通过用户操作,对 “云”发送请求,后续操作由“云”完成(如数据存储、产品加工、 业务应用等),并将数据返回给“端”,两者由湖南省气象局“天 擎”大数据云平台标准接口连接。
(二)多源数据整合
该系统需整合气象数据、预警信息、水文信息等多源数据 资料[13],其中气象预报资料主要来源于湖南省气象局“天擎”大 数据云平台; 突发事件预警信息主要来源于湖南省级突发预 警信息发布业务平台[12],采用标准接口获取和处理;水文和水 利数据主要来源于湖南省气象局与湖南省水利厅通过协议搭 建的共享数据库[14] 。所有的信息均是基于用户位置,获取精准 的服务信息 。系统对原始数据筛选和处理,从而减少其运行过 程中的数据处理量 。基于数据的共享与同步,系统根据用户的 位置实时整合不同地区的数据以进行分析和展示 。随着数据 量的增多且用户每天都要进行数据的读取、处理,将数据从分 布在各地的数据库取出然后在云端进行计算和存储, 可以有 效的节约计算资源和提高计算效率。
(三)数据存储与管理
数据以文件和数据库相结合的方式协作存取和管理,采 用虚谷、StarRocks 2.0 数据库, 提升系统访问速度, 系统服务采用标准化设计,方便迭代升级 。根据应用服务中对象关系不 同的特点,采用不同的存取方式 。系统数据库基础对象关系搭 建的关键是如何有效联结用户、流域、水库等对象,数据库基 础信息主要涉及用户、流域、行政区、水库、水文站、集雨区等, 其中:流域与用户之间为一多对应、行政区和用户之间为一多 对应、用户和水库之间为多多对应、水库和水文站之间为一一 对应、水库和集雨区之间为一多对应关系 。本平台通过对不同 对象建立基础信息表和关联表等方式,建立对象间联系 。采用 科学有效的管理模式为用户提供统一 、全方位的数据检索和 服务。具有导入历史数据、更新、添加、备份、恢复、和清理等功 能,并能监控数据存取和资源使用 。基础信息管理涉及的对象 关系如图 2 所示。
( 四)信息共享服务
信息共享服务采用web 网站、共享文件目录等方式管理数 据、监测、预测和预警等服务 。在平台运行中,许多用户同时访 问时不仅需要快速处理大批数据, 响应及时也是必不可少,这 与网络协议、带宽和访问量等密切相关 。因此需要高效的网络 技术来保证响应速度可以满足大量并发访问的要求。该系统部 署于湖南省气象局内网服务器上,通过防火墙 NAT 技术[13]转换 策略进行地址转化,映射提供外网可访问地址,通过 WEB 网址 访问方式,使用户能够快捷的查询、访问,以及数据分析等共享 服务。
(五)页面刷新和数据交互技术
网络 GIS 技术基于 B/S 架构实现数据的检索和分析,通过 Internet 提供地理信息发布、共享和交流协作,可实现空间数据 的检索、查询、制图、编辑等功能 。为满足用户对本平台数据较 高实时性的要求, 本平台在页面刷新和数据交互技术上使用 Web[14]最新标准 Fetch 代替传统的 ajax,XMLHttpRequest 是 一 个设计粗糙的 API,不符合关注分离(Separation of Concerns)的 原则,配置和调用方式非常混乱,基于事件的异步模型也没有 现 代 的 Promise,generator/yield,async/await 友 好 。 fetch 和 XMLHttpRequest 相比,主要有以下优点:语法简洁,更加语义 化,基于标准 Promise 实现,支持 async/await,同构方便,使用 isomorphic-fetch。
三、应用效果
该平台自 2020 年 12 月在湖南省邵阳市城步县白云电站 业务运行以来,期间在湖南市县级水利局、中小型水库和水电 站得到了广泛应用 。系统统筹数据,共享信息,实现不同地区 数据库的提取和云端的数据分析,属于统一应用管理系统,同 时打通平台和终端的同步 、共享,进一步扩大了实时预报 、预 警能力 。系统运行稳定,可维护性强,在云端存取和管理数据 也具有很高的安全性,保证了各级业务能够及时响应 。目前前 端展示平台提供天气预报、综合预报、水位预警、实况统计、雷 达卫星、台风路径、图文产品、三维 GIS、专属服务、智能分析、 组织信息、实时气象预警,共 12 大板块 40 多类专业气象服务产品,服务产品涵盖未来 2 小时 1KM × 1KM 的 QPF 定量降水 预报、未来 3 天逐 3 小时 5KM×5KM 精细化格点降水预报、未 来 7 天逐日流域面雨量预报、未来 7 天逐日入库流量预报、水 库水位预警、气象预警、过去 10 天逐日降水实况 、过去 24 小 时逐 3 小时降水实况、水库或电站当前水位、汛限水位 、入库 流量、出库流量实况、卫星云图、单站或雷达拼图、省市县三级 决策气象服务产品、精准靶向发布等服务产品和功能服务 。该 平台在 2021 年湖南省累计发生的 10 轮暴雨洪水过程, 和接 连发生了夏旱 、秋旱和冬旱气象服务中发挥了较好的服务效 益,2021 年湖南省水旱灾害防御实现了“零死亡”的好效果,平 台得到省级领导和水利部门及服务用户的好评, 为湖南省水 利部门的防汛抗旱、蓄水保水、发电增效提供了有力的技术保 障和数据支撑。
四、结束语
该平台已通过扁平化设计,形成了“一级部署,多级应用” 业务布局,实现技术、数据、资源在省级气象部门的统一集约 与管理,系统迭代升级方便、节约系统运维成本,提高工作效 率 。省级部门加强与用户的沟通与交流,摸清用户实际业务需 求,加强最下游服务产品的研发,升级迭代服务平台,不断提 高气象服务质量 。同时在实际运行过程种,不断结合天气过程 和实际情况,调整预报预警模型参数,提高预报精准度。
参考文献:
[ 1] 罗红梅 , 周峰, 陈湘华 . 湖南省气象灾害预警信息发布业务平 台的设计及应用[J].科技创新导报,2015. 12( 12):23-24 .
[2] 杨有林 , 陈海波 , 王建林 ,等 . 宁夏智能化综合气象业务服务共 享管理平台设计与实现[J]. 气象,2018.44 (07):961-968 .
[3] 张志强 , 张强 , 胡星 ,等 . 国家气象业务内网设计与实现[J].安徽 农业科学,2016.44 (06):224-227 .
[4] 李新庆 ,卫建国 ,单新兰 ,等 . 宁夏气象业务内网 的功能与实现 [J].干旱气象,2017.35 (06): 1077-1083 .
[5] 王会品 ,王洪祥 ,孙悦程 ,等 .基于 ArcCIS 的大连气象内网业务 平台设计与实现[J].湖北农业科学,2018.57 ( 11): 111-112 .
[6] 詹利群 ,任晓炜 ,黄志 ,等 . 广西气象业务内网功能设计与实现 [J]. 气象研究与应用,2019.40(01):71-76 .
[7] 熊安元 ,赵芳 , 王颖 ,等 .全国综合气象信息共享系统的设计与 实现[J].应用气象学报 ,2015.26(04):500-512 .
[8] 庞丽丽 , 邹煜 , 陈健 ,等 . 云”+“端”技术模式在山洪灾害预警防 御的应用与实践[J]. 中国防汛抗旱,2020.30 (Z1):21-24 .
[9] 钟艳雯 , 尹新怀 , 朱亮 ,等 . 湖南省气象业务内网平台的设计与 实现[J].湖北农业科学 ,2020.59(20): 155-158 .
[ 10] 罗红梅 , 刘瑞琪 ,郭海峰,等 .基于政务云与气象内网的突发事 件预警信息发布业务系统部署方法研究及应用[J].安防科技 ,2021. 12 (32):59-60 .
[ 11] 白艳萍 . 浅谈防火墙技术在气象信息网络种的应用[J]. 电脑 知识与技术,2020. 16 (27):61-62 .
[ 12] 吴文玉 , 翟菁 , 霍彦峰.省级环境气象业务系统关键技术[J].计 算机系统应用,2020.29 (09):75-80 .
[ 13] 裘峰, 李子豪 ,任宇程 ,等 .贵州省基于云计算的山洪灾害建成 预警管理系统设计及应用[J]. 中国防汛抗旱,2019.29 (03): 12-15 .
[ 14] 魏佳楠, 吴勇 ,林华剑 ,等 .基于的 自然资源“一 张图”管理信息 系统设计与实现[J].计算机应用与软件,2020.37 (09):20-26 .
(作者单位:1 . 湖南省气象服务中心 湖南长沙 410118;2 . 气象 防灾减灾湖南省重点实验室 湖南长沙 410118)
[作者简介:第一作者,罗红梅(1975— ),女,正高级工程师,硕士, 研究方向:气象应用服务;通讯作者:陈玉贵(1970— ),男,高级工程 师,硕士,研究方向:气象应用服务 。]
关注SCI论文创作发表,寻求SCI论文修改润色、SCI论文代发表等服务支撑,请锁定SCI论文网!
文章出自SCI论文网转载请注明出处:https://www.lunwensci.com/jingjilunwen/66262.html