于是,模型会倾向于给出一个平滑化、接近气候平均状态的预报图:刻意压低强降水的峰值,同时可能夸大弱降水的范围 (如图1a)。因此,降水预报中最关键、最具致灾风险的强降水信号被显著弱化,预报价值下降。 试验结果充分展示了 PM loss 的优越性,具体包括以下几点: (1) 强降水预报能力显著改善 (图2):使用 PM loss 训练的模型,对于强降水阈值的预报技巧得到了实质性提升。 图2 采用均方误差(mse)、加权均方误差 (wmse) 与概率匹配 (PM) 损失函数所训练的ConvLSTM模型在不同降水强度对应像素值 (74、100、133) 下的一小时降水临近预报定量评估。 (2) 降水强度分布匹配更完美 (图3):使用PM loss训练的模型所预报出的不同强度降水的发生频率分布与真实观测的分布曲线吻合更好。 第1行是观测 (truth);第2行是基于mse的预报;第3行是基于wmse的预报;第4–6行表示权重因子分别为1、10、100的基于PM的预报。
降水临近预报_Weather4cast_RainAI代码分享 主程序w4c23 def main(): parser = set_parser() options = parser.parse_args RandomHorizontalFlip(), v2.RandomVerticalFlip(), v2.RandomRotation([angle, angle : getBucketObject(_buckets_w4c23_2), } 创建和管理不同的桶(Bucket)对象,并将其存储在BUCKET_CONSTANTS字典中。 images 2D U-Net 架构的输出与其输入具有相同的空间维度。这意味着对于大小为 128 x 128 像素的输入序列,通过 U-Net 的前向传播将生成大小为 128 x 128 像素的输出。 因此,为了指导降水临近预报模型,我们采用中央 42 x 42 像素块并上采样到 252 x 252 像素标签。
降水临近预报_Weather4cast_RainAI阅读分享本文是论文阅读分享,后续会进行对应的代码分享,欢迎交流讨论。 此外,由于它们的收敛时间,它们对于临近降水预报来说并不是最合适的,因为主要关注的是预报的前几个小时。对于基于外推法的方法,它们往往会高估降水量,并且无法正确地用降雨覆盖该地区28。 在临近降水预报的数据准备过程中,不仅要考虑输入中包含的特征,而且还要考虑所提供的上下文。 将临近降水预报视为分类问题需要使用预定义的类别或桶来对不同级别的降雨强度进行分类。使用的类别与表 1 中列出的类别一致,旨在为观测更丰富的较低降水值建立更窄的范围,同时仍然能够代表强降水的实例。 调节提前时间量降水临近预报模型可设计为在单次迭代输出所有时间步长或者一个时间步长的预测。
天气预报以数值天气预报为主,它试图准确模拟物理特性的大气层。但数值天气预报的一个缺点是,它缺乏利用最新的气象资料进行短期预报的能力。 本文对比分析了UNet、UNet-CBAM、UNet-DSC和SmaAt-UNet四种模型在降水短临预报方面的性能表现。 ? 本文主要是利用UNet和注意力机制以及深度可分离卷积在降水短临预报方面的尝试,并没有利用更多的深度学习技术去进一步改善SmaAt-UNet模型的性能。 ? 模型结果对比. 通过与作者沟通,文中所使用的降水数据集已经公开,代码和数据集链接如下: SmaAt-UNet code[1]、Precipitation dataset[2] References [1] SmaAt-UNet code: https://github.com/HansBambel/SmaAt-UNet [2] Precipitation dataset: https://mega.nz/folder/jEUS2IbL
近期,复旦大学大气与海洋科学系陈国兴课题组发表在Geophysical Research Letters上的工作(Chen and Wang, 2022),首次将深度学习方法应用于短时降水预报方面。 该工作构建了一种基于三维卷积神经网络的短时降水预报的模型,利用三维气象场预报美国大陆的日降水空间分布。 结果表明:一、神经网络模型可以有效预报美国大陆地区的日降水分布,其对5天降水预报的均方根误差要小于当前最优秀的数值预报模型结果;二、将神经网络模型预报结果与传统模型预报结果的加权可以显著改进传统模型的结果 基于深度学习的美国大陆降水预报示意图 该工作显示了深度学习在短时天气预报方面的巨大潜力,类似的方法可以应用在其他变量或者场景方面的预报。 进一步的工作将使用类似的方法构建针对中国东部地区的短时降水预报模型。 论文信息: Chen, G.*, and W.-C.
该方法通过构建多源多尺度深度融合网络,实现对雷达、降水、数值模式和地形数据的有效整合,在 0-2 小时短临预报任务中取得了优异性能。 地形数据:地形对降水分布具有显著影响。山脉的强迫抬升作用可增强降水,而地形的阻挡效应也会影响降水系统的移动路径。我们引入海拔高度作为静态特征输入。 图2. NWP 变量消融实验对比:独立编码融合方案(exp_nwp2)效果最优 从实验结果可以看出: NWP 变量的引入显著提升预报性能:相比于不使用 NWP(exp_nwp0),引入 NWP 变量后模型能够更好地捕捉降水系统的演变趋势 应用价值:实现了高分辨率(1km × 1km)、高时间密度(6 分钟间隔)的 0-2 小时短临预报,对城市防汛和公众出行具有重要指导意义。 延长预报时效:探索 2-6 小时的短时预报,需要更好地利用 NWP 信息并建模更长程的时空依赖。 多源数据扩展:引入卫星云图、闪电定位等更多观测数据,进一步丰富模型的输入信息。
近日,清华大学软件学院王建民教授、龙明盛副教授团队提出了极端降水临近预报大模型,将数据驱动与物理驱动两大科学范式紧密结合,显著提高了公里尺度下0~3小时极端降水的预报能力,在全国62位气象预报专家的过程检验中大幅领先国际上的同类方法 目前该大模型已经在国家气象中心短临预报业务平台(SWAN 3.0)部署上线,将为全国极端降水天气短临预报业务提供支撑。 基于雷达观测的降水临近预报是世界性难题之一 数值计算和深度学习是降水临近预报的两类主流方法,但均存在明显的缺陷。 数值计算方法难以有效建模降水过程的时空多尺度特征,同时受到预报累积误差的制约,预报时效往往在一小时以内。 得益于上述融合设计,该模型兼具深度学习与物理建模的优势,在国际上首次将降水临近预报的时效延长至3小时,并弥补了极端降水预报的短板。
arXiv-2023 基于生成扩散模型的降水临近预报 1Abstract 近年来,深度学习方法对传统的精确天气预报数值方法提出了越来越大的挑战。 许多用于短期和中期天气预报的历史数据集通常是一个规则的空间网格结构(time-level-lat-lon)。 在这种情况下,由于天气预报本身的概率特性,扩散模型特别有优势: 因为我们真正感兴趣的模型是大气变量的概率分布,希望得到的是概率预报。 在此背景下,我们检验扩散模式在处理降水临近预报任务中的有效性。我们的工作还与现有文献中表现良好的 U-Net 模型进行了比较。 additional input model metric result 2Citation Asperti A, Merizzi F, Paparella A, et al.
其中,智能农业水资源管理就是依托新型技术手段,实现对水资源的更加精准预报、科学调度的一种管理模式。而基于分钟级降水预报API的智能农业水资源管理,则是新型技术手段中的一种代表性形式。 智能农业水资源管理的重要性在于:提高灌溉效率:分钟级降水预报可以帮助农场主根据未来的降水情况来合理安排灌溉,避免浪费水资源。 二、分钟级降水预报API的应用在智能农业水资源管理中,基于分钟级降水预报API实现的水资源管理主要分为以下几个方面:一、对雨量的预报和监测:利用分钟级降水预报API,能够实时监测气象数据,进行准确的雨量预报和监测 这一手段能够为农业生产提供实时数据支持,减少因雨量预报不准确而导致的生产损失。二、水资源调度:基于分钟级降水预报API,能够对不同地区的降雨情况进行预判,从而根据实际需要,对水资源进行合理的调度。 三、分钟级降水预报API推荐APISpace 的 分钟级降水预报API,支持国内任一经纬度的预报数据,实时调取某地未来2小时内降水预报,可做到分钟级、公里级,可准确提醒下一场雨何时出现,何时变大,何时停止等预报信息
will help to advance the state of the art in subseasonal forecasting. 5.原文摘要 美国西部地区的水资源管理极大地依赖于长期的温度和降水预报以应对干旱和其他的洪涝相关极端灾害天气 为了提升长期预报的准确性,美国垦务局和美国国家海洋和大气管理局(NOAA)发起了次季节气候预测的竞赛,长达一年的实时预报竞赛,参与者各显神通,旨在有技巧地提前预报美国西部地区2~4周和4~6周的温度和降水 第二个模型仅仅使用特定变量(温度或降水)的历史测量数据,并引入多任务最邻近特征到一个加权的局地线性回归中。 每个模式各自都要显著地比CFSv2(去偏差准业务化的美国气候预报系统)要更加的准确,同时我们的集合技巧就每个目标预报量和预报水平都要全面超过Rodeo竞争对手。 此外,在2011-2018期间,我们的回归模型与去偏差CFSv2的集合方案要比单一的去偏差CFSv2就温度预报的技巧提升了40%-50%,降水的预报提升了 129-169% 。
图2显示:登陆台风强度会明显影响降水的平均特征(包括平均降水强度、平均降水面积),登陆台风强度变化与台风降水变化也有一定关系。 图2 (a)强(4-6级)、弱(2-3级)台风的降水率分布概率对比;(b)台风强度(2-6级:热带风暴-超强台风)与平均降水率(距离台风中心500 km半径内总降水)的分布关系。 2、登陆台风降水非对称分布 台风1波非对称降水能很好地展示出降水最大值落区位置。研究分析了5个区域的登陆台风在登陆前24 h、登陆时、登陆后24 h的1波非对称降水分布。 3、登陆台风降水分布预报 然而,尽管TC路径预报在过去几十年里取得了巨大的进步,但是降水预报水平却明显落后于路径预报。 进一步的目标检验结果显示:登陆TC降水分布形态是当前台风降水预报的主要误差来源。因此,准确预报登陆台风降水的极值分布和大小是十分重要的科学问题,但对当前的实际业务预报来说充满巨大挑战。
,尝试提高中国降水次季节预报技巧。 在技巧低年份的冬春季,ISV预报结果比观察到的要弱得多。总的来说,冬春季的ISV预报优于夏秋季(图2)。 图2,由王岑提供▼ 图2 预报技巧高低年份的春冬季(A、B、E、F)和夏秋季(C、D、G、H)的MultiLLR模式预测和观测降水量的标准差。 最后,本研究还加入北极涛动指数、西北太平洋季风指数和西北太平洋副热带高压指数,以探究其在次季节中国降水预报中的作用。并将该模型与CFSv2模型进行耦合,技能从0.11提高到0.16。 这个结果表明MultiLLR模型作为一种新的统计模型,能够提高CFSv2动力模型在中国降水次季节预报的精度。
数据集报告了瞬时地表降水率和降水类型(陆地和海洋)以及降水剖面(海洋)。 摘要 AMSR-E/AMSR2 Unified L2B Global Swath Surface Precipitation是一种基于卫星数据的降水产品。 该产品使用了亚洲气候研究中心(APR)的算法,结合了AMSR-E和AMSR2卫星的数据,提供了全球范围内的降水信息。 该数据产品提供了以下信息: 降水率:以每小时和每天为单位,提供了全球范围内的降水强度数据。 雨滴直径谱:提供了降水中雨滴的大小分布信息。 雨滴数量:提供了每立方米空气中的雨滴数量。 降水相态:提供了降水的相态信息,包括液态、冰态和混合相态。 该数据产品具有全球覆盖范围,并且具有较高的空间分辨率。它可以用于气候研究、水资源管理、环境监测等多个领域。
目前,NowcastNet已经在国家气象中心短临预报业务平台(SWAN 3.0)部署上线,将为全国极端降水天气短临预报业务提供支撑。 那么极端降水的临近预报为什么这么难? 近年来,受全球气候变化影响,极端降水天气频发,实现更准确、更精细和更长预警提前量的降水临近预报成为人们的关注点。 因此,在今年5月27日世界气象组织峰会上,三小时内降水临近预报就被列为了未解决的重要科学难题之一。 △基于雷达观测的降水临近预报是世界性难题之一 此前也有预测极端降水天气的方法。 数值计算和深度学习就是降水临近预报的两类主流方法,但均存在明显的缺陷: 数值计算方法难以有效建模降水过程的时空多尺度特征,同时受到预报累积误差的制约,预报时效往往在一小时以内。 不同模型在T+1小时、T+2小时和T+3小时上的预测结果、c.
1 简介 气象部门在发布预报时,发布的是一定区域范围的网格化(或站点化)的气象要素结果,以降水预报为例, 先将预报区域划分为60 * 60(视空间分辨率而定,空间分辨率越高,格点数值越大) 的网格,每个网格上都存在对应的降水预报值 ETS评分表示在预报区域内满足某降水阈值的降水预报结果相对于满足同样降水阈值的随机预报的预报技巧; ETS评分是对TS评分的改进,能对空报或漏报进行惩罚,使评分相对后者更加公平. 2 代码 def ETS 在预报降水区域中实际没有降水的区域占总预报降水区域的比重。 用来反映降水总体预报效果的检验方法。 实际情况:FAR和 MAR一般随着降水阈值增大而显著增加,CSI 、ETS、POD、HSS、BSS随阈值增大而减小。即该预报模式对强降水的预报能力较弱,对是否降水预测更准确。
,空间分辨率越高,格点数值越大) 的网格,每个网格上都存在对应的降水预报值。 ETS评分表示在预报区域内满足某降水阈值的降水预报结果相对于满足同样降水阈值的随机预报的预报技巧; ETS评分是对TS评分的改进,能对空报或漏报进行惩罚,使评分相对后者更加公平. 2 代码 def ETS 在预报降水区域中实际没有降水的区域占总预报降水区域的比重。 用来反映降水总体预报效果的检验方法。 实际情况:FAR和 MAR一般随着降水阈值增大而显著增加,CSI 、ETS、POD、HSS、BSS随阈值增大而减小。即该预报模式对强降水的预报能力较弱,对是否降水预测更准确。
天气总是会或轻或重地影响人们的日常生活,而天气预报的准确性会极大影响人们应对天气的方式。 天气预报可以告知人们是否应当选取一条不同的上班路线、是否应该重新安排周末野餐的计划、是否因为一场风暴的来袭而撤离住所。 超越传统天气预报方法 世界各地的气象机构都有大量的监控设施,例如,多普勒雷达可以实时测量降水量;气象卫星可以提供多光谱成像;地面气象站可以直接测量风速、风向和降水量等。 对于雷达图到雷达图的预测,输入是由过去一小时内 30 张雷达观测组成的序列,相隔 2 分钟一张;输出包含从现在开始 N 小时后的预测结果。 相比之下 HRRR 使用的数值模型可以提供更长期的预测,这一部分是因为它使用了完整的 3D 物理模型——云的形成很难从 2D 图像中观察到,所以基于机器学习的方法更难学习到对流的过程。
图1 降水预报的困境。(a). 重尾分布的降水数值使得优化问题陷入忽略极值的陷阱。(b). 现存的方法:数值优化模糊了细节,而傅里叶方法会引入“鬼影”. (c). 2 方法:像“拆解乐高”一样拆解降水场 WADEPre 的核心灵感来自于物理直觉:降水过程可以看作是宏观的云团移动(平流)与微观的雨强生消(对流)的叠加。 2.细节网络(Details Network, D-Net): 负责“填充”。它处理高频分量,专门捕捉随机性强、变化快的对流细节。利用小波的局部性优势,它能精准还原强降水中心的锐利边界。 图2 WADEPre的整体架构。输入的雷达序列通过小波分解成两个子波,并送入对应的子网络,最后通过Refiner得到最终的预报。绿色的胶囊符号代表损失函数的应用位置。 图4 飑线 (Squall Line) 的预报结果可视化。 图5 强降水(Heavy Rain)事件的预报结果可视化。
后面 3 周为项目实践,我们分到的课题为天气预报—基于深度学习提高降水预报的时空 准确度。这次任务的主要目的是利用历史观测数据和气象模式的预报数据来预报未来 24 小时的降水。 另外,对于新生降水,模型预测能力还是挺弱的。 (2)历史观测+模式预报 如果加入模式的预报信息做修正的话,随机森林的24小时预报效果其实更多的向数值预报结果靠拢,没有明显提高。 从图中可以看出,数值预报结果有如下几个缺点: •a.容易误报,即预报降水区域往往较 真实值偏大;•b.预报降水量强度偏大。这是所有模式都容易犯的错误,无可厚非。 +t1 时刻的降水数值预报结果,作为 t2 时刻的输入,得到 t2 时刻的降水值,即 t2 预 测,t2 预测+t2 的降水数值预报结果 ,作为 t3 时刻的输入,以此类推。 使用这个模型的时候,有两种尝试, •a. 2D U-net ,即使用一个时刻的数值预报结果去预测这 个时刻的降水,而各个预报时刻之间没有发生关系。
对NWP降水预报进行后处理订正,被认为是降低系统性偏差、提升预报准确率的重要途径。近年来,深度学习因其在刻画复杂非线性关系和提取多变量特征方面的优势,被广泛应用于NWP降水预报后处理。 Precipitation Analysis System,CMPAS)进行雨日删选,其次与欧洲中期天气预报中心(ECMWF)确定性预报的逐3h降水预报进行逐格点对比。 图1 长三角地区ECMWF降水预报偏差的统计特征 两种方案的效果对比 针对这一问题,本研究保持多任务U-Net架构不变(图2),分别以降水预报偏差(ECMWF-CMPAS)为真值(UnetDif)、以观测降水 图2 多任务U-Net模型框架 相较于ECMWF,UnetDif在测试集长三角地区36h、48h和60h时效的暴雨TS评分提升21–30%,邻域技巧评分(FSS)亦显著更高;UnetOri表现最差(图3 图4 中国四大区域36h时效暴雨预报技巧评估 不足与展望 1、以MSE为损失函数导致订正降水预报平滑,缺失空间细节;2、样本稀缺限制了对大暴雨(≥100mm/day)预报的提升;3、不同输入特征的重要性将在后续工作中进一步探究