天气预报以数值天气预报为主,它试图准确模拟物理特性的大气层。但数值天气预报的一个缺点是,它缺乏利用最新的气象资料进行短期预报的能力。 本文对比分析了UNet、UNet-CBAM、UNet-DSC和SmaAt-UNet四种模型在降水短临预报方面的性能表现。 ? 此工作的基准是persistence,结果表明:persistence 基准结果战胜了其余四个模型,这是因为对于短临预报而言,短时间内是不会发生明显的变化的。 本文主要是利用UNet和注意力机制以及深度可分离卷积在降水短临预报方面的尝试,并没有利用更多的深度学习技术去进一步改善SmaAt-UNet模型的性能。 ? 模型结果对比.
,主要是基于Himawari-8卫星多个红外通道亮温观测以及雷达观测数据利用U-net及其变体模型(U-net++,Temporal U-net)并结合FSS评分指标作为损失函数进行对流覆盖区域的临近预报 近几年利用天气雷达、静止卫星等观测数据结合深度学习进行对流/降水/闪电临近预报的研究比较多。 对于雷达资料,不同于以往的一些基于雷达观测的对流临近预报,本文的标签是基于3D雷暴标注算法的回波分类算法所生成的对流/非对流区mask数据。 以下简要罗列一下本文的主要结论,更详细的分析结果可以去看论文: 1)U-net模型的结果最好,也就是说考虑了时间变化的Temporal U-net似乎并没有效果;这三个模型中,反而是最简单的模型实现了最好的效果; 2)每个预报时间的最佳模型使用了至少
视频回放链接:http://www.mooc.ai/open/course/369(点击阅读原文直达) 分享大纲: 简要介绍短临降雨预报和之前用于解决此问题的ConvLSTM网络。 介绍新的TrajGRU网络 介绍HKO-7基准 总结 分享内容 短临降雨预报是指对一个区域未来短时间段内的降雨进行预测。这一段时间通常是0到6小时。 由于大气内部复杂的动态变化和短临降雨要求的实时,我们需要大规模和高精度的预报,这个问题给气象领域和机器学习领域提出了非常大的挑战。 这种方法的好处是对于更长时间范围的预测比较准确,但是在头一两小时并不能进行预报,所以对于短临降预报不是使用NWP方法。 另一种在实际系统中的应用是基于光流矢量的方法。 中国香港天文台就是基于光流矢量做的短临降预测。
之前推过一篇深度学习雷达回波短临外推的推文 基于深度学习的多模型雷达回波外推,很多朋友想获取源代码,但因为一些原因这个代码无法开源。 SmaAt-Unet模型是由 Trebing 等提出的降水短临预报模型,主要是在 U-net 模型的基础上加入了注意力模块和深度可分离卷积。 数据集采用的是长三角地区短临预报比赛雷达回波数据。 比如长三角地区的短临比赛数据存储方式和华为云雷达回波比赛数据存储方式就有所差异。 这些通常用于评估确定性预报,对于集合概率预报评估,通常使用CRPS、BSS等指标。此外还有很多其他的评估指标,具体的还需要根据对应的问题选择合适的评估指标。
3月25号中国气象科学院灾害天气国家重点实验室的胡志群研究员,通过直播形式做了“机器学习简介及在短临天气预警中的应用”的学术报告,系统地介绍了机器学习的发展历史以及在短临中的应用,给出了“基于机器学习与探空资料的潜势预报 、冰雹、短时强降水、雷电等多种灾害天气个例,希望每种灾害天气能够收集1000个以上的个例,10000个以上的雷达体扫基数据, 然后构造有物理意义的卷积核,构建物理图像,再利用深度学习方法,共创共建共享短临预报预警模型
在今年大多数降雨过程里,深度学习对降雨消散的时间地点预测都强于人类气象预报员。 2019年版本深度学习模型的集成学习,在对极强降雨区的预报能力上,弱于单个深度学习模型。 输入时间段的长短,对于降雨预报有着极大的作用。从施行健博士2014-2015年开始尝试工作起,大多数业界尝试工作都使用10个时间点的连续数据输入。 我们实验结果是在中国北方推荐使用15-25个时间点稀疏采样输入的效果最好;在中国南方(我们在2020年华为云杯粤港澳大湾区短临降雨预测大赛里拿了第二名)是5-15个时间点效果最好。
//arxiv.org/pdf/2111.09954.pdf 看到标题后顿时来了兴趣,下载下来快速浏览了一下论文,文章提出了一个 encoder-forecaster 结构的卷积长短期记忆网络进行降水短临预报
深度学习已经在气象领域显示出很好的应用前景,并且已经在降水短临预报、雷达图像生成、锋面检测等方面取得了不错的进展。为了更有效的训练和验证这些复杂的算法,需要大量多样化的高分辨率数据集。 除了SEVIR数据集之外,文章针对两个深度学习应用(降水的短临预报和雷达图像生成)给出了模型代码,并提供了详细训练过程和结果的评估。 在对模型结果的评估时采用了多个评估指标,如下: 论文中针对降水短临预报和雷达图像生成进行了详细的介绍,并给出了模型结果的评估。 下面两张图是降水短临预报的深度学习模型训练结果。 降水的短临预报评估结果显示出,所有深度学习模型的结果都优于persistence模型,但是随着预报时间的增加,预报准确率在不断降低。 图5 SEVIR数据集的解释 图6 降水短临模型的解释 就说到这里,关于数据集的详细介绍和论文中所使用的模型框架、损失函数、评估指标以及评估结果的详细内容可以查看原论文。
彩云天气想要做的其实也是针对特殊需求的解决方案,例如短临降水。 机器之心:能否介绍下,在机器学习进入之前,天气预报是如何炼成的? 不同种类的天气预报流程会有很大差异。 近年来这个算法在评测中已经超越了人类预报员了。 机器之心:彩云天气为什么想要做短临降水?方法和传统方法有什么区别? 其实「深度学习和气象结合」并不是我们的切入点。 再比如中国尊它特别高,挡到了雷达,也不能预报说中国尊下面一直在下雨。 ? 机器之心:在利用雷达数据进行短临降水预报的过程中是否有用到深度学习? 完成整个过程的第一代模型可以分为分割和预测两部分。 机器之心:除了短临降水之外,还打算用深度学习做其他预报吗?如果把深度学习模型视为一样工具,如何用这些工具解决特定问题呢? 有的,我觉得在短临之外也有很多可以做的地方:因为一方面短临能解决的问有限,另外一方面我们想把短临在比较长的时间轴上融合起来,做成一个短时间也准、长时间也准的预报。
【正文】 1、系统设计目标 从气象为行业服务的角度出发,利用雷达监测分析以及短临预警技术进行服务系统设计,并且以系统开发人员参阅为主。 根据雷达监测特点,服务系统搭建是为了解决面向行业提供气象服务的解决方案,针对相关行业对气象要素的敏感条件为基点,利用监测数据、算法和短临预报技术,结合行业需求进行服务系统的开发与建设。 救援机等会有不同的安全飞行系数)、特殊影响等信息,采用模糊集合的算法推断出飞行安全指数的风险判断产品; (4)采用合适雷达外推算法,针对影响通用航空飞行器的湍流、风切变、下击暴流和强对流天气产生的强风暴进行短临预报 ,输出短临预报天气结果,并转换为通用航空器飞行条件预报为用户提供服务; (5)建成基于GIS、雷达探测和多源探测数据为一体的可交互“通用航空气象敏感条件预警服务系统”,在接入本地雷达和可用的探测数据后实现通用系统服务 但是就目前我学习到的雷达知识以及对短临预警方面的了解,在系统搭建和应用上,美国的ANC是最值得借鉴的短临系统,BJ-ANC完成了北京地区的本地化改进,并且也是国内短临技术中较高的,但目前应用效果并不理想
由于各种天气预报的要求不同,因此它们的预报思路和方法也不同。 ? 天气预报业务示意图 对于大范围、短中期的专业天气预报,世界各国都采用数值天气预报为主要手段。 各种时空尺度和它对应的天气现象 数值模式在不同时空尺度上都有很强大的预报能力。然而,数值模式在降水的短临预报,特别是在1小时内的预报方面,往往显得无能为力。 短临预报 一般而言,针对数值天气模式无法很好解决的降水短临预报的问题,气象学上的解决方案是:用天气雷达观测云,然后通过预测云的未来移动,判断未来降水的落区和大小。 ? 雷达反射率图 彩色区域为雷达探测到的积雨云所在的位置 通过外推方法,预测出未来一两个小时内云的运动方向和强弱变化,便可以得出一两个小时内的降水的短临预报。 经典短临预报方法 经典的短临预报方法主要包括主观预报和客观预报。 主观预报,即气象专家利用他们丰富的经验得出预测结果。
来自杭州电子科技大学、浙江省气象科学研究所和南京大学的研究团队提出了一种全新的基于小波分解的短临预报模型 WADEPre。 在气象短临预报(Precipitation Nowcasting)领域,深度学习模型虽然发展迅猛,但一直存在一个顽疾:面对极端暴雨时,预测结果往往会变得“糊”。 WADEPre通过小波分解和渐进式学习,实现准确和锐利的极值预报。 既要位置准,又要强度高,还要纹理清晰,是目前短临降水的主要难题。 指标包括CSI-M (CSI均值),CSI-181(极值预报),CSI-219(极值预报),RMSE(数值误差),HSS(预报能力),SSIM(结构相似度)。 我们希望这项工作能为 AI 短临预报领域提供新的视角,也欢迎社区的老师同学指正! 本文第一作者为杭州电子科技大学硕士研究生刘柏田,通讯作者为吴昊老师。
彩云天气 APP 降水预报页面 传统的短临预报方法主要依赖光流外推或数值模式。 光流法虽然计算效率高,但难以捕捉降水系统的生消演变;数值模式虽然具备物理基础,但存在 “spin-up” 问题导致短时效预报技巧有限,且计算量大、更新周期长(通常数小时一次),难以满足短临预报对实时性的需求 该方法通过构建多源多尺度深度融合网络,实现对雷达、降水、数值模式和地形数据的有效整合,在 0-2 小时短临预报任务中取得了优异性能。 精准预测:在强对流降水预报任务中,具备较高的预报准确性。 应用价值:实现了高分辨率(1km × 1km)、高时间密度(6 分钟间隔)的 0-2 小时短临预报,对城市防汛和公众出行具有重要指导意义。 彩云科技天气算法团队专注于将前沿人工智能技术应用于气象预报领域,在短临降水预报、空气质量预测、中长期天气预报等方向持续深耕。
目前已有很多机器学习和深度学习应用于气象领域的成功案例,例如短临,气候预测,AQI预测,数据同化,台风,极端天气预测,数值预报优化等等。 机器学习与短临 短临降雨预报是指对一个区域未来短时间段内的降雨进行预测,具有很强的时效性,准确的短临预报可以为防灾减害提供有力的保障。 传统的预测方法包括数值天气预报,光流法外推,以及它们的融合方法等。 近些年来,随着深度神经网络的发展,人工智能算法在短临预报中的运用也越来越广泛,也开始尝试使用深度学习来进行短临预测。 CNN+RNN进行短临预测的方法源于中国香港科技大学施行健博士的文章:Convolutional LSTM Network: A Machine Learning Approach for Precipitation TrajGRU就是为了解决传统CNN-LSTM的短板,它可以主动去学习时空的递归连接结构,从而动态的刻画时空特征,更好的适用于短临的场景。
预报空间范围支持1km的沿道路的分布,实现对目标道路的短临(0-2小时)和中短期(0-72h)预报预警。 系统主要包括路网环境实时监测、气象精细化预报预警功能模块。 )的短临(0-2小时)、短期(0-24小时)和中期的(1-3天)的高空间(1000m一个点)和高时间(最高10分钟一次预警)分辨率的预报和预警信息。 预警模型 气象精细化预报预警主要有如下模型和指数: (1)高速公路结冰预报预警模型 高速公路结冰预报预警模型包含精准的结冰位置,结冰时间,结冰程度等信息。 预报空间范围支持1km的沿道路的分布。实现提前不同时间段对积雪进行有效的预报和预警,并在新预报到来时对预报预警结果实行修正和补充等。 (4)高温指数 实现对高速公路受影响路段的高温指数的短临(0-2小时)和中短期(0-72h)预报。 (5)横风指数 实现对高速公路受影响路段的横风的短临(0-2小时)和中短期(0-72h)预报。
当前雨水情监测体系面临单点监测局限性显著、精细化程度亟待提升、预报精度与时效性不足、局地暴雨捕捉能力薄弱等多重技术瓶颈。 地面雨量站仅能提供点数据,无法覆盖面雨量监测,且稳定性不足,传统面雨量估算方法时空分辨率低,难以满足山丘区小流域山洪预报需求,依赖气象部门预报的模式在突发灾害应对中存在滞后性,气象雷达与单点雨量站在局地强降雨监测上均有不足 采用X波段双偏振雷达技术,融合雨强反演算法、衰减订正算法、多源雨量融合算法、短临预报算法,构建包含降水反演、降水成果应用、运维管理、成果评估等应用的测雨雷达系统并进行组网运行,将短临降雨耦合洪水预报预警 ,提前对洪水和山洪灾害进行风险预警,提高预报预警的准确性和时效性,为区域防洪决策提供支撑。 实时性与超前预警能力:实现分钟级实时降雨数据输出,动态追踪降雨演变趋势,通过短临预报算法提前预测降雨及洪水风险,延长预警预见期,为防汛调度与防灾减灾争取关键响应时间,提升应急处置的及时性与有效性。
201.9毫米,创中国大陆气象观测纪录影响面广:内涝不仅造成交通瘫痪,更引发电力中断、通信基站受损、地下空间淹没等连锁反应灾害链长:单一内涝事件可能衍生出公共卫生、社会稳定、经济损失等多重问题四大挑战:预报精度不足 :传统气象预报难以精准捕捉小尺度局地强降水监测网络稀疏:现有雨量站、水位站密度不足以支撑精准内涝预报响应时效滞后:从监测到预警的转化效率有待提升部门协同不足:气象、水利、应急、交通等部门信息共享机制不完善二 气象卫星可提供大范围降水趋势,水文雷达则能精准捕捉局地强降水细节,两者结合可更准确判断降水对城市的影响范围;建立统一的数据共享平台,整合气象、水利、城管、交通等部门监测数据,实时更新降水、水位、积水、交通流量等信息,为后续预报预警 强化短临预报预警,为防御争取“黄金时间”城市内涝防御的关键是“早知道、早准备”,需通过模型研发提升预报精准度和时效性:加强降雨预报模型研发应用,重点突破“0-6小时短临预报”技术,结合实时监测数据动态调整预报结果 ,将降水落点、强度、持续时间的预报误差控制在最小范围;构建“监测-预报-预警”联动机制—当监测数据显示降水达到阈值时,系统自动触发预警,通过短信、APP、社交媒体、路面预警屏等渠道,向公众推送积水路段提示
如果把数值天气预报与人工智能预报技术的 PK 比作一把王者荣耀,那毫无疑问人工智能队已经拔掉了二塔。 就据我所知,市面上叫得出名字的短临预报产品,无一例外都是基于神经网络实现的。不管是彩云还是墨迹的分钟级降水预报早在七八年前就已经面世了,而且这么多年过来也比较受业内认可。 之所以 AI 短临大行其道的时候人们并没有那么强的焦虑,是因为 AI 技术在短临上的应用属于是一种空白的填补,而并不会替代什么原有的岗位。 所以,一直以来数值预报都没有能力吃到 0-6 小时短临预报这块蛋糕,市面上 AI 短临预报的出现也是填补了数值预报无能为力的这部分空白,它是从无到有的一个过程,也就几乎不会对原有体系造成很大的冲击。 排除技术信仰的因素不说,盘古的预报形式,本质上也就是在以替代数值预报为目的的,它能用排列组合的方式灵活地制作出1小时、3小时、6小时、12小时和24小时间隔的预报,这些都是模仿数值预报的预报间隔,并且运行效率还出奇的快
新华社记者 水金辰 非管制空域航路端到端危险天气短临预警技术取得新突破,可提前15分钟准确预警无人机颠簸……记者从9月6日开幕的第二届低空经济气象前沿科技研讨会上了解到,中国气象局边界层气象重点创新团队在高精度航危天气智能感知和预警若干关键技术领域取得新突破 然而,现有气象监测和预警预报技术尚未完全满足低空航危天气高精度智能感知和精细化预报预警需求,制约了低空飞行安全保障水平。 据了解,科研团队融合多种人工智能大数据分析方法,优化深度学习模型,发展了垂直起降点上空无人机低空颠簸短临预警模型,可实现提前15分钟准确预警无人机颠簸,提升了中小尺度天气监测预警预报能力,为低空航路规划
吴海旭与导师龙明盛老师 吴海旭选择的研究方向直接面向我国的气象预报预警需求。 在2021年,吴海旭围绕我国的短临降水预报业务,作为学生负责人和伙伴们一起,以自己原创的 MotionRNN 模型作为核心技术,突破全国200多部雷达联合外推所面临的算法和算力挑战,完成了全国雷达回波外推系统的技术升级 该系统已在国家气象中心上线,在汛期检验中优势显著,被选作融合要素之一进入我国气象预报业务系统(SWAN3.0),每天被全国各省市预报员参考使用。 短临降水算法运行 此外,吴海旭的研究成果也被应用在2022北京冬奥会中。冬奥中许多比赛场馆都建立在山上,天气变化迅速剧烈,及时准确的气象预报十分关键。 在两年间,从数据对接、预处理、存储平台到分布式计算、模型加速改进,从全国短临降水预报到冬奥气象预报应用,吴海旭一步一步扎实地推进“科研的最后一公里”。