降水临近预报_Weather4cast_RainAI代码分享 主程序w4c23 def main(): parser = set_parser() options = parser.parse_args _1": getBucketObject(_buckets_w4c23_1), "w4c23_2": getBucketObject(_buckets_w4c23_2), } 创建和管理不同的桶 sampler.py: from w4c23.utils.data_utils import get_file w4c_dataloader.py: from w4c23.utils.data_utils w4c_dataloader 读取并归一化大赛数据。 其他项目 checkpoints 保存模型参数。 configurations 保存定义模型的各种参数组合。 data 原始数据。 因此,为了指导降水临近预报模型,我们采用中央 42 x 42 像素块并上采样到 252 x 252 像素标签。
降水临近预报_Weather4cast_RainAI阅读分享本文是论文阅读分享,后续会进行对应的代码分享,欢迎交流讨论。 该领域的传统方法依赖于数值天气预报(NWP)和光流技术,这些技术基于大气物理学和数学模型24,4,27。 传统方法包括数值天气预报(NWP)模型和光流模型,例如 RainyMotion 4 和 PySteps 27。 此外,由于它们的收敛时间,它们对于临近降水预报来说并不是最合适的,因为主要关注的是预报的前几个小时。对于基于外推法的方法,它们往往会高估降水量,并且无法正确地用降雨覆盖该地区28。 该特定模型还用于即时预报和迁移学习排行榜 (exp1) 中的 4 小时预测,仅关注最初的 16 个预测时间步长。
目前,绝大多数深度学习降水预报模型都采用均方误差 (MSE) 作为损失函数。它的计算方法是:将预报降水场和观测降水场中每一个处于相同位置的降水值进行对比,计算所有区域降水值差异的平均平方和。 于是,模型会倾向于给出一个平滑化、接近气候平均状态的预报图:刻意压低强降水的峰值,同时可能夸大弱降水的范围 (如图1a)。因此,降水预报中最关键、最具致灾风险的强降水信号被显著弱化,预报价值下降。 (4) 降水空间结构更合理:以图4中的一次强降水预报评估为例,使用PM loss训练的模型表现出一种“纠偏”特性:它会增强那些原本预报偏弱的降水信号,同时抑制那些预报偏强的信号,从而使得整体的预报场在强度分布上更逼近观测 图4 基于均方误差 (mse)、加权均方误差 (wmse) 与概率匹配 (PM) 损失函数所训练的ConvLSTM模型一次个例1h降水临近预报中的对比。 第1行是观测 (truth);第2行是基于mse的预报;第3行是基于wmse的预报;第4–6行表示权重因子分别为1、10、100的基于PM的预报。
天气预报以数值天气预报为主,它试图准确模拟物理特性的大气层。但数值天气预报的一个缺点是,它缺乏利用最新的气象资料进行短期预报的能力。 我们通过使用数据驱动的神经网络方法,结果表明有可能产生准确的降水现报。 为此,我们提出了SmaAt-UNet,一个基于众所周知的UNet的高效卷积神经网络架构,配备了注意力模块和深度可分离卷积。 我们利用荷兰的真实降水数据集评估了此方法,结果表明,根据精确度评估,相比于其他模型(原始的UNet框架),我们提出的模型仅使用了四分之一的参数即可达到与其他模型类似的结果。 本文对比分析了UNet、UNet-CBAM、UNet-DSC和SmaAt-UNet四种模型在降水短临预报方面的性能表现。 ? 本文主要是利用UNet和注意力机制以及深度可分离卷积在降水短临预报方面的尝试,并没有利用更多的深度学习技术去进一步改善SmaAt-UNet模型的性能。 ? 模型结果对比.
近期,复旦大学大气与海洋科学系陈国兴课题组发表在Geophysical Research Letters上的工作(Chen and Wang, 2022),首次将深度学习方法应用于短时降水预报方面。 该工作构建了一种基于三维卷积神经网络的短时降水预报的模型,利用三维气象场预报美国大陆的日降水空间分布。 结果表明:一、神经网络模型可以有效预报美国大陆地区的日降水分布,其对5天降水预报的均方根误差要小于当前最优秀的数值预报模型结果;二、将神经网络模型预报结果与传统模型预报结果的加权可以显著改进传统模型的结果 基于深度学习的美国大陆降水预报示意图 该工作显示了深度学习在短时天气预报方面的巨大潜力,类似的方法可以应用在其他变量或者场景方面的预报。 进一步的工作将使用类似的方法构建针对中国东部地区的短时降水预报模型。 论文信息: Chen, G.*, and W.-C.
彩云天气 APP 降水预报页面 传统的短临预报方法主要依赖光流外推或数值模式。 图4. (a)多变量多尺度特征提取与融合机制(b)注意力融合模块 解码器(Decoder) 解码器采用对称的上采样结构,通过双线性插值逐步恢复空间分辨率,并结合残差块和注意力模块进一步增强特征表达。 优化配置 优化器:AdamW,初始学习率 1e-4 学习率调度:Warmup(1000步)+ Cosine Decay 早停机制:基于验证集 Loss 进行早停,防止过拟合 EMA:使用指数移动平均保存模型权重 尽管 DeepFusion 取得了良好的性能,未来仍有多方面的改进方向: 强化极端事件预报:强降水事件的预报仍是主要瓶颈,可通过引入概率预报来更好地量化预报不确定性,提升极端事件的预警能力。 彩云科技天气算法团队专注于将前沿人工智能技术应用于气象预报领域,在短临降水预报、空气质量预测、中长期天气预报等方向持续深耕。
近日,清华大学软件学院王建民教授、龙明盛副教授团队提出了极端降水临近预报大模型,将数据驱动与物理驱动两大科学范式紧密结合,显著提高了公里尺度下0~3小时极端降水的预报能力,在全国62位气象预报专家的过程检验中大幅领先国际上的同类方法 基于雷达观测的降水临近预报是世界性难题之一 数值计算和深度学习是降水临近预报的两类主流方法,但均存在明显的缺陷。 数值计算方法难以有效建模降水过程的时空多尺度特征,同时受到预报累积误差的制约,预报时效往往在一小时以内。 得益于上述融合设计,该模型兼具深度学习与物理建模的优势,在国际上首次将降水临近预报的时效延长至3小时,并弥补了极端降水预报的短板。 论文链接: https://www.nature.com/articles/s41586-023-06184-4 供稿:软件学院 编辑:李华山 审核:郭玲
arXiv-2023 基于生成扩散模型的降水临近预报 1Abstract 近年来,深度学习方法对传统的精确天气预报数值方法提出了越来越大的挑战。 许多用于短期和中期天气预报的历史数据集通常是一个规则的空间网格结构(time-level-lat-lon)。 在这种情况下,由于天气预报本身的概率特性,扩散模型特别有优势: 因为我们真正感兴趣的模型是大气变量的概率分布,希望得到的是概率预报。 在此背景下,我们检验扩散模式在处理降水临近预报任务中的有效性。我们的工作还与现有文献中表现良好的 U-Net 模型进行了比较。 diffusion models[J]. arXiv preprint arXiv:2308.06733, 2023. 3Download https://arxiv.org/pdf/2308.06733 4About
其中,智能农业水资源管理就是依托新型技术手段,实现对水资源的更加精准预报、科学调度的一种管理模式。而基于分钟级降水预报API的智能农业水资源管理,则是新型技术手段中的一种代表性形式。 智能农业水资源管理的重要性在于:提高灌溉效率:分钟级降水预报可以帮助农场主根据未来的降水情况来合理安排灌溉,避免浪费水资源。 二、分钟级降水预报API的应用在智能农业水资源管理中,基于分钟级降水预报API实现的水资源管理主要分为以下几个方面:一、对雨量的预报和监测:利用分钟级降水预报API,能够实时监测气象数据,进行准确的雨量预报和监测 这一手段能够为农业生产提供实时数据支持,减少因雨量预报不准确而导致的生产损失。二、水资源调度:基于分钟级降水预报API,能够对不同地区的降雨情况进行预判,从而根据实际需要,对水资源进行合理的调度。 三、分钟级降水预报API推荐APISpace 的 分钟级降水预报API,支持国内任一经纬度的预报数据,实时调取某地未来2小时内降水预报,可做到分钟级、公里级,可准确提醒下一场雨何时出现,何时变大,何时停止等预报信息
内容目录 1.Poster预览 2.数据集 3.SDSCon上视频报告 4.Abstract 5.原文摘要 6.图文 ---- Title:Improving Subseasonal Forecasting will help to advance the state of the art in subseasonal forecasting. 5.原文摘要 美国西部地区的水资源管理极大地依赖于长期的温度和降水预报以应对干旱和其他的洪涝相关极端灾害天气 为了提升长期预报的准确性,美国垦务局和美国国家海洋和大气管理局(NOAA)发起了次季节气候预测的竞赛,长达一年的实时预报竞赛,参与者各显神通,旨在有技巧地提前预报美国西部地区2~4周和4~6周的温度和降水 第二个模型仅仅使用特定变量(温度或降水)的历史测量数据,并引入多任务最邻近特征到一个加权的局地线性回归中。 此外,在2011-2018期间,我们的回归模型与去偏差CFSv2的集合方案要比单一的去偏差CFSv2就温度预报的技巧提升了40%-50%,降水的预报提升了 129-169% 。
图2 (a)强(4-6级)、弱(2-3级)台风的降水率分布概率对比;(b)台风强度(2-6级:热带风暴-超强台风)与平均降水率(距离台风中心500 km半径内总降水)的分布关系。 研究还对环境垂直风切变和海陆差异共同影响登陆台风降水分布机制提出概念模型(图4)。 ? 图4 强(a)和弱(b)环境垂直风切变(VWS,红色箭头所示)和海岸线(粗体黑线所示)共同作用下的登陆热带气旋的降水非对称(蓝色填充所示)分布示意图。 3、登陆台风降水分布预报 然而,尽管TC路径预报在过去几十年里取得了巨大的进步,但是降水预报水平却明显落后于路径预报。 进一步的目标检验结果显示:登陆TC降水分布形态是当前台风降水预报的主要误差来源。因此,准确预报登陆台风降水的极值分布和大小是十分重要的科学问题,但对当前的实际业务预报来说充满巨大挑战。
,尝试提高中国降水次季节预报技巧。 两周至两月的次季节中国降水预报与农作物种植选择、减灾和生命安全密切相关。同时,次季节预报将填补天气预报和气候预报之间的空白。 为了提高次季节性天气预报的精度,王岑等作者利用Hwang等人在2019年提出的机器学习模型,对中国降水进行次季节预报。 图2,由王岑提供▼ 图2 预报技巧高低年份的春冬季(A、B、E、F)和夏秋季(C、D、G、H)的MultiLLR模式预测和观测降水量的标准差。 这个结果表明MultiLLR模型作为一种新的统计模型,能够提高CFSv2动力模型在中国降水次季节预报的精度。
MAE4. RMSE2.2.9 阈值选取3 应用举例4 参考文献 1 简介 气象部门在发布预报时,发布的是一定区域范围的网格化(或站点化)的气象要素结果,以降水预报为例, 先将预报区域划分为60 * 60(视空间分辨率而定 ETS评分表示在预报区域内满足某降水阈值的降水预报结果相对于满足同样降水阈值的随机预报的预报技巧; ETS评分是对TS评分的改进,能对空报或漏报进行惩罚,使评分相对后者更加公平. 2 代码 def ETS 在预报降水区域中实际没有降水的区域占总预报降水区域的比重。 用来反映降水总体预报效果的检验方法。
对NWP降水预报进行后处理订正,被认为是降低系统性偏差、提升预报准确率的重要途径。近年来,深度学习因其在刻画复杂非线性关系和提取多变量特征方面的优势,被广泛应用于NWP降水预报后处理。 Precipitation Analysis System,CMPAS)进行雨日删选,其次与欧洲中期天气预报中心(ECMWF)确定性预报的逐3h降水预报进行逐格点对比。 图1 长三角地区ECMWF降水预报偏差的统计特征 两种方案的效果对比 针对这一问题,本研究保持多任务U-Net架构不变(图2),分别以降水预报偏差(ECMWF-CMPAS)为真值(UnetDif)、以观测降水 23–32%,华北因暴雨样本稀缺仅提高4%(图4)。 图4 中国四大区域36h时效暴雨预报技巧评估 不足与展望 1、以MSE为损失函数导致订正降水预报平滑,缺失空间细节;2、样本稀缺限制了对大暴雨(≥100mm/day)预报的提升;3、不同输入特征的重要性将在后续工作中进一步探究
(基于集合预报的成员一致性) 4. 产品制作与推送 • 自动生成预报图(全省降水量预报图、气温预报图、重要天气示意图) • 生成结构化预报文本(分时段、分区域) • 推送到飞书工作群,供预报员审核后发布 预期效果 • 预报制作时间从 1- :小波分析、EEMD 分解 4. 空气质量预报联动 • 结合气象条件(风场、降水、边界层高度)分析污染物扩散 • 预报未来 72 小时 AQI 等级 • 重污染天气过程预警 预期效果 • 城市内涝预警提前量增加(从降水到内涝的响应时间) 三模式对湘北午后局地热对流有一定分歧,建议关注雷达实况..." 4. 产品推送 生成预报图(全省最高温度分布、降水概率)+ 文字产品,推送到飞书预报群。
图1 降水预报的困境。(a). 重尾分布的降水数值使得优化问题陷入忽略极值的陷阱。(b). 现存的方法:数值优化模糊了细节,而傅里叶方法会引入“鬼影”. (c). WADEPre通过小波分解和渐进式学习,实现准确和锐利的极值预报。 既要位置准,又要强度高,还要纹理清晰,是目前短临降水的主要难题。 利用小波的局部性优势,它能精准还原强降水中心的锐利边界。 图2 WADEPre的整体架构。输入的雷达序列通过小波分解成两个子波,并送入对应的子网络,最后通过Refiner得到最终的预报。 图4 飑线 (Squall Line) 的预报结果可视化。 图5 强降水(Heavy Rain)事件的预报结果可视化。 4 总结 WADEPre 通过引入小波域分解和物理感知机制,成功缓解了极端降水预报中“准确度”与“清晰度”难以兼得的优化困境。
环流因子数据 30年降水数据 本文介绍了四种常见的气象子预报方法:BP人工神经网络、多元回归、SVM、决策树模型,并通过实际的数据集进行预报检验。 环流因子=read.csv("环流因子.csv") 降水数据=read.csv("30年降水数据.csv") 转换降水数据 y=0 for(i in 2:ncol(降水数据) ){ y=c(y,降水数据[,i]) 环流因子=环流因子[1:length(yy),] datanew=data.frame(降水数据=yy,环流因子[,-1]) 多元回归 model=lm(降水数据~. 15.11 -1.18 1.41 ## b->h4 i1->h4 i2->h4 i3->h4 i4->h4 ## 0.42 -14.15 -11.55
1 简介 气象部门在发布预报时,发布的是一定区域范围的网格化(或站点化)的气象要素结果,以降水预报为例, 先将预报区域划分为60 * 60(视空间分辨率而定,空间分辨率越高,格点数值越大) 的网格,每个网格上都存在对应的降水预报值 ETS评分表示在预报区域内满足某降水阈值的降水预报结果相对于满足同样降水阈值的随机预报的预报技巧; ETS评分是对TS评分的改进,能对空报或漏报进行惩罚,使评分相对后者更加公平. 2 代码 def ETS 在预报降水区域中实际没有降水的区域占总预报降水区域的比重。 用来反映降水总体预报效果的检验方法。 实际情况:FAR和 MAR一般随着降水阈值增大而显著增加,CSI 、ETS、POD、HSS、BSS随阈值增大而减小。即该预报模式对强降水的预报能力较弱,对是否降水预测更准确。
环流因子数据 30年降水数据 本文介绍了四种常见的气象子预报方法:BP人工神经网络、多元回归、SVM、决策树模型,并通过实际的数据集进行预报检验。 环流因子=read.csv("环流因子.csv") 降水数据=read.csv("30年降水数据.csv") 转换降水数据 y=0 for(i in 2:ncol(降水数据)){ y=c(y,降水数据[,i]) 环流因子=环流因子[1:length(yy),] datanew=data.frame(降水数据=yy,环流因子[,-1]) 多元回归 model =lm(降水数据~. 15.11 -1.18 1.41 ## b->h4 i1->h4 i2->h4 i3->h4 i4->h4 ## 0.42 -14.15 -11.55
降水强度分布偏差(图3) • AI 31-km 模型: • 在 >20 mm/天 的降水阈值上显著低估; • 对 >150 mm(99th 百分位以上) 的极端降水严重平滑,几乎无法捕捉峰值; • 这种低估在不同预报时效 分数技能评分(FSS, Fraction Skill Score)分析(图4) • FSS 是一种邻域验证方法:允许一定空间位移误差,更关注降水“是否在附近发生”而非精确位置。 天预报); • 表明:West-WRF 能更准确再现大尺度降水结构和强度,只是位置略有偏移。 4. 传统高分辨率 NWP 仍有不可替代价值:West-WRF 在极端 AR 事件中表现稳健,尤其在降水强度和空间结构上。 4.