近期Ryan Lagerquist等发表在《Monthly Weather Review》上的一篇文章,主要是基于Himawari-8卫星多个红外通道亮温观测以及雷达观测数据利用U-net及其变体模型( U-net++,Temporal U-net)并结合FSS评分指标作为损失函数进行对流覆盖区域的临近预报,并分析了卫星红外通道亮温观测的重要性。 近几年利用天气雷达、静止卫星等观测数据结合深度学习进行对流/降水/闪电临近预报的研究比较多。 数据 本文利用的数据包括了Himawari-8静止卫星观测,台湾省气象局提供的雷达观测。 这里数据集使用的2016-2018年逐10分钟的观测,数据集划分如下: 数据预处理 对于卫星资料,波段8中存在线性伪像(linear artifacts),利用了质控算法移除伪像。
天气预报以数值天气预报为主,它试图准确模拟物理特性的大气层。但数值天气预报的一个缺点是,它缺乏利用最新的气象资料进行短期预报的能力。 本文对比分析了UNet、UNet-CBAM、UNet-DSC和SmaAt-UNet四种模型在降水短临预报方面的性能表现。 ? 此工作的基准是persistence,结果表明:persistence 基准结果战胜了其余四个模型,这是因为对于短临预报而言,短时间内是不会发生明显的变化的。 本文主要是利用UNet和注意力机制以及深度可分离卷积在降水短临预报方面的尝试,并没有利用更多的深度学习技术去进一步改善SmaAt-UNet模型的性能。 ? 模型结果对比.
视频回放链接:http://www.mooc.ai/open/course/369(点击阅读原文直达) 分享大纲: 简要介绍短临降雨预报和之前用于解决此问题的ConvLSTM网络。 介绍新的TrajGRU网络 介绍HKO-7基准 总结 分享内容 短临降雨预报是指对一个区域未来短时间段内的降雨进行预测。这一段时间通常是0到6小时。 由于大气内部复杂的动态变化和短临降雨要求的实时,我们需要大规模和高精度的预报,这个问题给气象领域和机器学习领域提出了非常大的挑战。 这种方法的好处是对于更长时间范围的预测比较准确,但是在头一两小时并不能进行预报,所以对于短临降预报不是使用NWP方法。 另一种在实际系统中的应用是基于光流矢量的方法。 中国香港天文台就是基于光流矢量做的短临降预测。
之前推过一篇深度学习雷达回波短临外推的推文 基于深度学习的多模型雷达回波外推,很多朋友想获取源代码,但因为一些原因这个代码无法开源。 SmaAt-Unet模型是由 Trebing 等提出的降水短临预报模型,主要是在 U-net 模型的基础上加入了注意力模块和深度可分离卷积。 数据集采用的是长三角地区短临预报比赛雷达回波数据。 比如长三角地区的短临比赛数据存储方式和华为云雷达回波比赛数据存储方式就有所差异。 这些通常用于评估确定性预报,对于集合概率预报评估,通常使用CRPS、BSS等指标。此外还有很多其他的评估指标,具体的还需要根据对应的问题选择合适的评估指标。
3月25号中国气象科学院灾害天气国家重点实验室的胡志群研究员,通过直播形式做了“机器学习简介及在短临天气预警中的应用”的学术报告,系统地介绍了机器学习的发展历史以及在短临中的应用,给出了“基于机器学习与探空资料的潜势预报 、冰雹、短时强降水、雷电等多种灾害天气个例,希望每种灾害天气能够收集1000个以上的个例,10000个以上的雷达体扫基数据, 然后构造有物理意义的卷积核,构建物理图像,再利用深度学习方法,共创共建共享短临预报预警模型
在今年大多数降雨过程里,深度学习对降雨消散的时间地点预测都强于人类气象预报员。 2019年版本深度学习模型的集成学习,在对极强降雨区的预报能力上,弱于单个深度学习模型。 输入时间段的长短,对于降雨预报有着极大的作用。从施行健博士2014-2015年开始尝试工作起,大多数业界尝试工作都使用10个时间点的连续数据输入。 我们实验结果是在中国北方推荐使用15-25个时间点稀疏采样输入的效果最好;在中国南方(我们在2020年华为云杯粤港澳大湾区短临降雨预测大赛里拿了第二名)是5-15个时间点效果最好。
//arxiv.org/pdf/2111.09954.pdf 看到标题后顿时来了兴趣,下载下来快速浏览了一下论文,文章提出了一个 encoder-forecaster 结构的卷积长短期记忆网络进行降水短临预报 前80分钟作为输入,后360分钟作为输出,但是输入和输出的时间分辨率是不一致的,输入分辨率为4 min(20帧),输出分辨率为8 min(45帧)。
深度学习已经在气象领域显示出很好的应用前景,并且已经在降水短临预报、雷达图像生成、锋面检测等方面取得了不错的进展。为了更有效的训练和验证这些复杂的算法,需要大量多样化的高分辨率数据集。 除了SEVIR数据集之外,文章针对两个深度学习应用(降水的短临预报和雷达图像生成)给出了模型代码,并提供了详细训练过程和结果的评估。 在对模型结果的评估时采用了多个评估指标,如下: 论文中针对降水短临预报和雷达图像生成进行了详细的介绍,并给出了模型结果的评估。 下面两张图是降水短临预报的深度学习模型训练结果。 降水的短临预报评估结果显示出,所有深度学习模型的结果都优于persistence模型,但是随着预报时间的增加,预报准确率在不断降低。 图5 SEVIR数据集的解释 图6 降水短临模型的解释 就说到这里,关于数据集的详细介绍和论文中所使用的模型框架、损失函数、评估指标以及评估结果的详细内容可以查看原论文。
彩云天气想要做的其实也是针对特殊需求的解决方案,例如短临降水。 机器之心:能否介绍下,在机器学习进入之前,天气预报是如何炼成的? 不同种类的天气预报流程会有很大差异。 近年来这个算法在评测中已经超越了人类预报员了。 机器之心:彩云天气为什么想要做短临降水?方法和传统方法有什么区别? 其实「深度学习和气象结合」并不是我们的切入点。 再比如中国尊它特别高,挡到了雷达,也不能预报说中国尊下面一直在下雨。 ? 机器之心:在利用雷达数据进行短临降水预报的过程中是否有用到深度学习? 完成整个过程的第一代模型可以分为分割和预测两部分。 机器之心:除了短临降水之外,还打算用深度学习做其他预报吗?如果把深度学习模型视为一样工具,如何用这些工具解决特定问题呢? 有的,我觉得在短临之外也有很多可以做的地方:因为一方面短临能解决的问有限,另外一方面我们想把短临在比较长的时间轴上融合起来,做成一个短时间也准、长时间也准的预报。
【正文】 1、系统设计目标 从气象为行业服务的角度出发,利用雷达监测分析以及短临预警技术进行服务系统设计,并且以系统开发人员参阅为主。 根据雷达监测特点,服务系统搭建是为了解决面向行业提供气象服务的解决方案,针对相关行业对气象要素的敏感条件为基点,利用监测数据、算法和短临预报技术,结合行业需求进行服务系统的开发与建设。 救援机等会有不同的安全飞行系数)、特殊影响等信息,采用模糊集合的算法推断出飞行安全指数的风险判断产品; (4)采用合适雷达外推算法,针对影响通用航空飞行器的湍流、风切变、下击暴流和强对流天气产生的强风暴进行短临预报 ,输出短临预报天气结果,并转换为通用航空器飞行条件预报为用户提供服务; (5)建成基于GIS、雷达探测和多源探测数据为一体的可交互“通用航空气象敏感条件预警服务系统”,在接入本地雷达和可用的探测数据后实现通用系统服务 但是就目前我学习到的雷达知识以及对短临预警方面的了解,在系统搭建和应用上,美国的ANC是最值得借鉴的短临系统,BJ-ANC完成了北京地区的本地化改进,并且也是国内短临技术中较高的,但目前应用效果并不理想
由于各种天气预报的要求不同,因此它们的预报思路和方法也不同。 ? 天气预报业务示意图 对于大范围、短中期的专业天气预报,世界各国都采用数值天气预报为主要手段。 各种时空尺度和它对应的天气现象 数值模式在不同时空尺度上都有很强大的预报能力。然而,数值模式在降水的短临预报,特别是在1小时内的预报方面,往往显得无能为力。 短临预报 一般而言,针对数值天气模式无法很好解决的降水短临预报的问题,气象学上的解决方案是:用天气雷达观测云,然后通过预测云的未来移动,判断未来降水的落区和大小。 ? 雷达反射率图 彩色区域为雷达探测到的积雨云所在的位置 通过外推方法,预测出未来一两个小时内云的运动方向和强弱变化,便可以得出一两个小时内的降水的短临预报。 经典短临预报方法 经典的短临预报方法主要包括主观预报和客观预报。 主观预报,即气象专家利用他们丰富的经验得出预测结果。
目前已有很多机器学习和深度学习应用于气象领域的成功案例,例如短临,气候预测,AQI预测,数据同化,台风,极端天气预测,数值预报优化等等。 机器学习与短临 短临降雨预报是指对一个区域未来短时间段内的降雨进行预测,具有很强的时效性,准确的短临预报可以为防灾减害提供有力的保障。 传统的预测方法包括数值天气预报,光流法外推,以及它们的融合方法等。 近些年来,随着深度神经网络的发展,人工智能算法在短临预报中的运用也越来越广泛,也开始尝试使用深度学习来进行短临预测。 TrajGRU就是为了解决传统CNN-LSTM的短板,它可以主动去学习时空的递归连接结构,从而动态的刻画时空特征,更好的适用于短临的场景。 去年AI CHALLENGER的天气预报比赛[8],利用基于已有的天气数值预报和观测结果,更加精准的预报未来的天气状况。
来自杭州电子科技大学、浙江省气象科学研究所和南京大学的研究团队提出了一种全新的基于小波分解的短临预报模型 WADEPre。 在气象短临预报(Precipitation Nowcasting)领域,深度学习模型虽然发展迅猛,但一直存在一个顽疾:面对极端暴雨时,预测结果往往会变得“糊”。 WADEPre通过小波分解和渐进式学习,实现准确和锐利的极值预报。 既要位置准,又要强度高,还要纹理清晰,是目前短临降水的主要难题。 指标包括CSI-M (CSI均值),CSI-181(极值预报),CSI-219(极值预报),RMSE(数值误差),HSS(预报能力),SSIM(结构相似度)。 我们希望这项工作能为 AI 短临预报领域提供新的视角,也欢迎社区的老师同学指正! 本文第一作者为杭州电子科技大学硕士研究生刘柏田,通讯作者为吴昊老师。
彩云天气 APP 降水预报页面 传统的短临预报方法主要依赖光流外推或数值模式。 光流法虽然计算效率高,但难以捕捉降水系统的生消演变;数值模式虽然具备物理基础,但存在 “spin-up” 问题导致短时效预报技巧有限,且计算量大、更新周期长(通常数小时一次),难以满足短临预报对实时性的需求 该方法通过构建多源多尺度深度融合网络,实现对雷达、降水、数值模式和地形数据的有效整合,在 0-2 小时短临预报任务中取得了优异性能。 精准预测:在强对流降水预报任务中,具备较高的预报准确性。 应用价值:实现了高分辨率(1km × 1km)、高时间密度(6 分钟间隔)的 0-2 小时短临预报,对城市防汛和公众出行具有重要指导意义。 彩云科技天气算法团队专注于将前沿人工智能技术应用于气象预报领域,在短临降水预报、空气质量预测、中长期天气预报等方向持续深耕。
一、预报员智能助手——人机协同,提升预报效率与精度这是当前应用最成熟的领域,智能体充当预报员的“数字副手”,辅助完成重复性、数据密集型工作。 核心能力:短临预报智能生成:基于多源气象数据,10秒内自动生成精细至街道、场馆级别的短临预报产品极端天气特别报告自动产出:遇到强对流、台风等极端天气时,自动生成特别报告“图生文”能力:自动将气象图表(如降水落区图 )转化为文字描述预报产品智能校验:自动核对预报产品的逻辑一致性,减少人为差错语音告警:从“人工巡检”升级为“智能推送”,异常天气自动语音告警二、防灾减灾应急响应——主动感知,筑牢第一道防线智能体实时监测气象要素 核心能力:本地化数据深度整合:可查询历史极端天气、逐月降水量等过往数据实时天气“一问即答”:实时同步气温、降水、风力等动态指标未来预报智能解读:精准提供未来天气趋势,支持科学规划出行智能语音交互:市民可通过语音提问
Java生成短8位UUID在Java中,UUID(Universally Unique Identifier)通常用于生成全局唯一的标识符。 虽然缩短UUID会增加碰撞(即生成两个相同标识符)的风险,但在某些特定场景(如生成短链接、简短的API密钥等)中,这可能是可接受的。下面是一个简单的Java方法,用于生成一个较短的8位UUID。 ", ""), 16); // 通过对BigInteger取模,得到一个较小的数值范围(这里选择的是64位整数范围) // 然后转换为16进制字符串,并取前8个字符作为短 这个操作会损失UUID的唯一性,因此生成的短UUID有更高的碰撞风险。取模后的结果转换为一个16进制字符串,并取其前8个字符作为短UUID。 使用String.format("%08s", shortUUID)确保返回的字符串长度为8,如果不足则在前面补0。注意:由于这种方法缩短了UUID的长度,因此增加了碰撞的风险。
短8位UUID思想其实借鉴微博短域名的生成方式,但是其重复概率过高,而且每次生成4个,需要随即选取一个。 本算法利用62个可打印字符,通过随机生成32位UUID,由于UUID都为十六进制,所以将UUID分成8组,每4个为一组,然后通过模62操作,结果作为索引取出字符, 这样重复率大大降低。 ", "q", "r", "s", "t", "u", "v", "w", "x", "y", "z", "0", "1", "2", "3", "4", "5", "6", "7", "8" StringBuffer(); String uuid = UUID.randomUUID().toString().replace("-", ""); for (int i = 0; i < 8; "s", "t", "u", "v", "w", "x", "y", "z", "0", "1", "2", "3", "4", "5", "6", "7", "8"
预报空间范围支持1km的沿道路的分布,实现对目标道路的短临(0-2小时)和中短期(0-72h)预报预警。 系统主要包括路网环境实时监测、气象精细化预报预警功能模块。 )的短临(0-2小时)、短期(0-24小时)和中期的(1-3天)的高空间(1000m一个点)和高时间(最高10分钟一次预警)分辨率的预报和预警信息。 预警模型 气象精细化预报预警主要有如下模型和指数: (1)高速公路结冰预报预警模型 高速公路结冰预报预警模型包含精准的结冰位置,结冰时间,结冰程度等信息。 预报空间范围支持1km的沿道路的分布。实现提前不同时间段对积雪进行有效的预报和预警,并在新预报到来时对预报预警结果实行修正和补充等。 (4)高温指数 实现对高速公路受影响路段的高温指数的短临(0-2小时)和中短期(0-72h)预报。 (5)横风指数 实现对高速公路受影响路段的横风的短临(0-2小时)和中短期(0-72h)预报。
当前雨水情监测体系面临单点监测局限性显著、精细化程度亟待提升、预报精度与时效性不足、局地暴雨捕捉能力薄弱等多重技术瓶颈。 地面雨量站仅能提供点数据,无法覆盖面雨量监测,且稳定性不足,传统面雨量估算方法时空分辨率低,难以满足山丘区小流域山洪预报需求,依赖气象部门预报的模式在突发灾害应对中存在滞后性,气象雷达与单点雨量站在局地强降雨监测上均有不足 采用X波段双偏振雷达技术,融合雨强反演算法、衰减订正算法、多源雨量融合算法、短临预报算法,构建包含降水反演、降水成果应用、运维管理、成果评估等应用的测雨雷达系统并进行组网运行,将短临降雨耦合洪水预报预警 ,提前对洪水和山洪灾害进行风险预警,提高预报预警的准确性和时效性,为区域防洪决策提供支撑。 实时性与超前预警能力:实现分钟级实时降雨数据输出,动态追踪降雨演变趋势,通过短临预报算法提前预测降雨及洪水风险,延长预警预见期,为防汛调度与防灾减灾争取关键响应时间,提升应急处置的及时性与有效性。
就据我所知,市面上叫得出名字的短临预报产品,无一例外都是基于神经网络实现的。不管是彩云还是墨迹的分钟级降水预报早在七八年前就已经面世了,而且这么多年过来也比较受业内认可。 之所以 AI 短临大行其道的时候人们并没有那么强的焦虑,是因为 AI 技术在短临上的应用属于是一种空白的填补,而并不会替代什么原有的岗位。 也就是说,它今天早上8点做的预报,你最早得到下午2、3点才能拿到结果。这中间的几个小时实质上是无效预报,但是由于其求解的逻辑限制,你也不能跳过。 所以,一直以来数值预报都没有能力吃到 0-6 小时短临预报这块蛋糕,市面上 AI 短临预报的出现也是填补了数值预报无能为力的这部分空白,它是从无到有的一个过程,也就几乎不会对原有体系造成很大的冲击。 排除技术信仰的因素不说,盘古的预报形式,本质上也就是在以替代数值预报为目的的,它能用排列组合的方式灵活地制作出1小时、3小时、6小时、12小时和24小时间隔的预报,这些都是模仿数值预报的预报间隔,并且运行效率还出奇的快