|
成果简介：
|
1.项目背景、目的及意义
不同天气条件下，受仪器观测性能及数据采集算法的影响，各探测资料的质量参差不齐，其资料的质量直接决定着气象预警、决策服务以及预报验证的质量，为了提高数据质量，需构建气象数据质量控制系统，对地面、高空、雷达等气象观测资料进行质量控制，提高预报原始数据的可用性，以进一步提高预报准确性。
资料质量受到观测仪器、观测技术、测站位置、观测时间、观测方法的影响，尤其是长期观测形成的地面气象资料，各种非气候因素造成的影响更大，使资料质量大打折扣。
随着气象业务量级的增长、气象现代化的不断推进，各气象业务系统及数值预报模式业务对气象资料质量的要求越来越高，而传统气象资料质量控制体系因存在历史与实时资料业务脱节（历史资料质量高但时效性差，实时资料质量未经过系统质量控制)、各气象资料业务平台的数据处理流程缺乏统一标准导致数据不一致、数据质量控制方法标准各异等问题，无法满足气象业务现代化发展的需求。
为响应中国气象局发布的《气象信息网络系统发展规划(2011-2015年)》(中国气象局，2011)，2011年3月中国气象局开始指导开展实时历史气象资料一体化业务的业务实验，研发了气象资料业务系统（(Meteorological Data Operational System，简称MDOS)。MDOS的运行实现了历史资料和实时资料一体化流程，有效提高了气象资料的正确性、完整性。
国家级和省级资料服务部门及时将收集到的数据解码并入到各自的实时气象资料应用数据库(简称实时库)，以保障资料服务与应用的及时性。这就要求实时数据质量控制环节不仅要做到有效，还要力求实时、快速。经过MDOS质控后数据正确性较高，但是无法实时满足资料服务与应用，目前广东省各气象部门的实时业务使用的数据均为未质控数据，错误的原始数据失之毫厘谬以千里，导致业务应用出现明显的错误，给气象预报及实时气象应用的准确性带来巨大影响。因此本项目针对实时入库的常规地面观测气象资料及历史资料，分要素进行质量控制，利用Myeclipse开发工具开发质量控制日志显示平台，并通过历史实时一体化数据访问接口平台发布质量控制结果，经质量控制的每个观测数据应给出表征该数据质量状况的信息，以便数据处理者和用户参考。质控日志及质控后的数据可在天气检测、短临预警预报、中尺度分析、定量降水估测和预报、灾害性天气精细化落区等业务中得到应用，以提高灾害性天气预报的精细化和准确率。
2.技术原理及性能指标
(1)项目任务:
本项目利用Java开发语言，采用分布式微服务架构，针对国家自动站和区域自动站实时入库的小时与分钟数据，分要素利用多种质量控制方法进行质量控制，将质控步骤及结果记录在数据库里，形成质控日志，并记录数据的质控码;统计分析各质控结果，形成省、市、县三级质量评估报告;通过历史实时一体化数据访问接口配置质控日志接口，将各时次各要素质控结果发布出来，供全省业务人员调用。
(2)项目应用考核指标:
1.质量控制平台开发，实现地面实时常规观测数据的自动质量控制;
2.质控结果展示界面开发，实现各时次各要素质控日志详情及质控流程图展示;
3.质量评估界面开发，实现各市、县国家站及区域站的质量评估结果实时更新展示，并提供质控评估结果下载功能。
（3）技术路线
系统通过接口实时获取自动站小时和分钟数据、观测要素信息、元数据信息、雷达组合反射率数据等，通过分发模块分发给质量控制模块和消息缓存中间件，定时任务异步执行，分发过程中进行是否已分发检查、早报检查、经纬度检查，质量控制模块实时进行多种质控方法的质控。为了确保临近站数据完整，空间一致性检查放到 15 分钟后进行，空间一致性完成之后，综合其他质控方法结果得到综合质控结果，完成自动站小时、分钟数据质控；将质控步骤及结果记录在数据库里，形成质控日志，并记录数据的质控码；
统计分析质控结果，形成省、市、台站各级质量评估报告。
质量控制原始数据及质控码通过历史实时一体化数据访问接口平台发布，供各业务平台调用；质量控制过程提供显示界面，供用户查看了解数据的质控流程及质控详情；提取质控后错误数据信息，通过短信告警，提示台站维护人员及时处理，提高数据可用率；为用户开通疑误数据反馈通道，针对质控结果存疑的数据可以通过反馈通道反馈， 以帮助完善质控方法，提高数据服务能力。
参考《地面气象观测规范》 、《QX/T 118-2020 气象观测资料质量控制 地面》 ，结合广东省国家站1.75厘米 5区域站各要素历史数据统计结果，设计了国家站 76 个要素、区域站 57 个要素的质量控制方法，对每个观测资料进行逐质控方法检查后，针对各种质控方法得到的质控码进行综合分析和判断，最终确定该数据的质控码。
质控流程设计
要实现常规观测资料实时质量控制，需要解决3个难题:一是质控结果的完整性，常规地面观测资料包括5分钟时间分辨率的所有国家站和区域站（约3600+个），观测资料数据量大，如何保证如此大量的数据完整有序的进行质量控制，是该项目解决的一大难题:二是实时，实时意味着数据调用、分发时效、质量控制时效、入库时效都要尽可能的提高，要求质控平台各模块高效运行:三是质控结果的准确性，准确性是质控的核心要求，这就要求我们反复通过实例验证各个要素的质控方法，确保质控结果好用。
质控时效优化
为了满足实时天气预报对数据时效性的要求，在数据质控中，将基于Redis缓存技术进行性能优化，首先通过定时任务事先调用接口获取数据，保存到Redis里，减少网络请求的耗时:其次通过读取配置文件获取的参数解析后缓存到Redis 里，减少IO耗时:通过增加多线程，各个方法均为异步执行，减少线程的等待时间，提高质控效率。
入库效率优化
统计发现，质控系统24个小时产生质控日志2100万条，需要提取的质控码l00万条，由于质控结果展示界面需要使用到质控日志，而通过接口提供的质控后数据必须有质控码作为支撑，质控日志及质控码均需要实时入库，质控码记录一天100万条，当质控码发生更正时，可以直接更新库表，但是质控日志一天就有2100万条的数据量，数据更新效率很低，为了确保提供对外使用的结果一致，在设计质控日志表更新时，引入临时表，修改存储策略，这样可以保证质控日志表中数据稳定且正确。
（4）应用情况
2019年11月项目启动以前，项目组就组织几位骨干参与了质控方法和质控流程的设计，2020年1月开始，进行系统研发，主要针对各要素完成了质控算法的编写，2020年4 月，质控系统框架基本搭成，4-7月通过日复一日的实时个例测试，不断调试质控算法，优化质控流程，确保质量控制结果的完整性和准确性。2020年8-11月份，主攻质量控制时效难题，通过优化缓存、消息分发、质量控制及数据入库各个质控环节，将单时次完成95%的要素质量控制时间由5分钟缩短到1分钟左右。2020年12月，完成可视化界面的开发。
2021年1月开展系统试运行，首先通过一体化数据访问平台（IDEA）分别发布质控后区域站接口getSurfAwstQcCode4Prov 、质控后国家站接口etSurfAutoQcCode4Prov。其次，联系深圳、东莞、韶关、肇庆等地市一线测报人员进行了为期1个月的系统功能测试、告警短信发送情况测试，根据测试结果，有选择的修改系统功能，尽可能使系统能够更便于使用。
目前，实时质量控制评估系统可通过http://10.148.20.90:8080/zlkz/
登陆访问，登陆系统可知，系统实时能够查询最新时次观测资料的质控结果，满足实时业务需求，完成了合同指标（1）质量控制平台开发，实现地面实时常规观测数据的自动质量控制。
首页默认为实时小时数据检测，如图1所示，完成了合同指标（2）质控结果展示界面开发，实现各时次各要素质控日志详情及质控流程图展示;
数据质量评估模块的设计，实现了指标（3）质量评估界面开发，实现各市、县国家站及区域站的质量评估结果实时更新展示, 并提供质控评估结果下载功能。
|
