肖卫青
- 作品数：21 被引量：90H指数：7
- 供职机构：国家气象信息中心更多>>
- 发文基金：青年科技基金公益性行业(气象)科研专项贵州省科技计划项目更多>>
- 相关领域：自动化与计算机技术天文地球电子电信更多>>
- 地面气象资料统计处理系统设计与实现被引量：14
- 2018年
- 为实现6万余个地面气象站资料实时统计处理,设计并实现了地面气象资料统计处理系统。系统采用灵活易扩展的技术框架,应用大数据分布式流处理技术实现高效的数据处理,较传统统计处理框架统计时效提升10掊以上,主要功能包括基于任务调度的定时统计、针对迟到数据和数据更正信息的统计结果滚动更新、自定义统计、统计处理通用算法服务等,采用国家级一级部署、各省同步应用的业务布局保证数据的一致性。2017年1月投入业务运行后,实时计算800余个多种尺度的统计项并通过全国综合气象信息共享平台(CIMISS)数据统一服务接口提供统计产品服务。分析表明:地面气象资料统计产品2017年月平均下载次数达到1951.4万次,在CIMISS所有400余种观测资料或产品中排名第三,为天气监测预报预警、气象决策服务、气候监测业务、公共气象服务等提供重要的基础数据支撑。
- 孙超霍庆任芝花刘振肖卫青徐拥军
- 关键词：地面气象资料分布式计算模块化
- 通用可配置的非结构化气象数据处理方法和装置
- 本发明公开了一种通用可配置的非结构化气象数据处理方法和装置，属于气象信息处理领域。本发明针对气象数据中非结构化数据存储过程需要的索引提取过程，设计了通用的计算引擎，通过支持函数计算等，实现了可配置化的通用处理，可以快速实...
- 肖卫青王佳强薛蕾郭萍刘振王颖韩书丽李媛翯霍庆高峰陈士旺何文春刘媛媛郑波
- 基于Hadoop的气象数据存储检索应用研究被引量：11
- 2014年
- 随着气象数据规模快速增长,气象预报和气候分析对数据服务时效性要求的提高,传统的气象数据存储和服务模式面临一定的挑战。本文提出了结合了hadoop技术的气象数据存储检索应用模式,并进行了实验和性能测试,以评估其实现效果。实现中针对代表性的结构化与非结构化气象业务数据,分别进行了测试,并提出优化方法。性能测试中对于自动站结构化数据的检索,大部分响应时间在毫秒级;对于大结果集的雷达基数据非结构化数据的检索响应时间也在秒级。本文认为基于hadoop的气象数据存储检索可作为应对海量气象数据增长带来的存储服务问题的有效解决途径之一。
- 曾乐陈东辉肖卫青梁中军
- 关键词：气象分布式存储数据检索
- GTS多格式探空报文实时转换方法和装置
- 本发明公开了一种GTS多格式探空报文实时转换方法和装置，属于气象信息处理领域。本发明对GTS多格式探空报文进行解码入库，根据设置的数据整合规则，进行数据整合，发现并整合相应的重复数据，发现并保留各自独有的数据。本发明设置...
- 肖卫青郭萍刘振韩书丽王颖薛蕾霍庆张来恩王佳强
- 地面自动气象站数据流式处理设计与实现
- 2024年
- 针对观测密度和频次日益增加的海量地面自动气象站数据,在气象大数据云平台(天擎)中设计了基于Storm的实时流式处理,利用大规模并行处理的优势提高地面自动气象站数据的处理时效。在流式处理中,设计处理拓扑直接解码标准格式的数据消息;消息确认采用手工确认的方式,将数据解码组件锚定数据接入组件,实现每条数据的可靠处理;数据解码时进行字节校验和时间检查等,过滤异常数据;应用批量加定时的发送策略,解决海量监控信息发送气象综合业务实时监控系统(天镜)的问题;集群部署时保留部分剩余资源,有效应对单节点异常。应用效果表明:国家气象站小时数据的服务时效由全国综合气象信息共享系统(CIMISS)的175 s提高至天擎的78 s,约6×10^(4)个区域气象站小时数据的服务时效由CIMISS的5 min提高至天警的2 min,实况分析系统将数据源切换至天擎后,相同时间检索可获取的站点数量较CIMISS增加1倍。2021年12月基于Storm的流式处理与天擎一同在国省业务化运行,实现了长期稳定运行,为MICAPS4、SWAN2.0、实况分析系统等用户提供高效稳定的地面自动气象站数据。
- 肖卫青薛蕾刘振罗兵王颖张来恩郭萍霍庆韩书丽何文春
- 关键词：地面自动气象站STORM
- 一种气象模式数据解码处理方法
- 本发明公开一种气象模式数据解码处理方法，包括如下步骤：采用多线程方式，读取模式数据源文件；将所述模式数据源文件拆分成模式单场文件；将拆分的所述模式单场文件进行解析，解析完成后得到模式数据属性和模式数据内容；根据气象服务需...
- 郑波刘媛媛肖卫青杨明孙周军王琦刘鑫徐拥军
- 基于Storm的海量气象观测数据处理方法和装置
- 本发明公开了一种基于Storm的海量气象观测数据处理方法和装置，属于气象信息处理领域。本发明设计了新的STORM处理框架，可以直接对接RabbitMQ的BUFR格式消息，减少了从传输到入库的中间环节，实现了数据即来即处理...
- 肖卫青薛蕾刘振王颖郭萍张来恩韩书丽王佳强李媛翯霍庆高峰陈士旺何文春
- 一种气象模式数据解码处理方法
- 本发明公开一种气象模式数据解码处理方法，包括如下步骤：采用多线程方式，读取模式数据源文件；将所述模式数据源文件拆分成模式单场文件；将拆分的所述模式单场文件进行解析，解析完成后得到模式数据属性和模式数据内容；根据气象服务需...
- 郑波刘媛媛肖卫青杨明孙周军王琦刘鑫徐拥军
- 基于HBase的气象地面分钟数据分布式存储系统被引量：25
- 2014年
- 针对气象地面分钟数据要素多样、信息量大、产生频次高等特点,传统的关系型数据库系统在存储和管理数据上出现负载饱满、读写性能不理想等问题。结合对分布式数据库HBase的存储模型的研究,行主键(row key)采用时间加站号的方式设计了气象分钟数据存储结构模型,实现对海量气象数据的分布式存储和元信息管理。对HBase的唯一索引在面对气象业务的复杂查询用例时响应时间过长的问题,使用搜索引擎solr提供的API接口并参考气象业务中的查询用例对相关字段建立辅助索引,来满足业务检索时效。实验结果表明,该系统具有很好的存储能力和检索效率,入库效率最高可达每秒34000条,并且在常规查询用例的结果返回时效达到毫秒级,能够满足大规模气象数据在业务应用中对存储和查询时效的性能要求。
- 陈东辉曾乐梁中军肖卫青
- 关键词：分钟数据分布式存储HADOOPSOLRHBASE
- 基于雷达流的虚拟体扫数据生成方法和装置
- 本发明公开了一种基于雷达流的虚拟体扫数据生成方法和装置，属于气象信息处理领域。本发明提出了虚拟体扫数据的技术，将仰角数据与体扫基数据有机结合，将最新的仰角数据融入体扫基数据，从而获得与仰角数据实时同步的虚拟体扫数据供应用...
- 刘振肖卫青韩鑫强韩丰郭萍薛蕾张来恩戴晴韩书丽李媛翯王颖王博霍庆何文春高峰陈士旺
