首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏AI人工智能

    AI的张量世界,直面维度灾难

    欢迎来到AI的张量世界。是时候直面维度灾难了。 同时,尽管主流AI框架认为张量是最基本的数据类型,但在行业标准实践中,也常将张量展开为矩阵,以便利用高度优化的矩阵乘法(MM)库和矩阵乘法加速器(MMAs)库。通常,AI领域认为矩阵是特殊的张量。 由于数十年的研究、构建和利用分块矩阵框架用于高性能MM执行,矩阵成为CNN和AI中最常见的默认数据类型。 和分块矩阵被高性能计算(high-performance computing,简称HPC)机群用于MM相似,分块张量可用于解决维度灾难和保留CNN的数据局部性。 所有张量暗地里都想要成为自己,即分块张量,并释放潜能,在AI硬件领域实现突破。

    1.2K01发布于 2019-08-05
  • 来自专栏云云众生s

    AI模型应对灾难性遗忘的技术

    译自 Techniques for Tackling Catastrophic Forgetting in AI Models,作者 Kimberley Mok。 这个问题被称为灾难性遗忘或灾难性干扰。当人工神经网络的权重被优化以学习新任务时,就会发生这种情况,这反过来会干扰存储在相同权重中的先前知识。 然而,一些专家指出,灾难性遗忘背后的确切机制尚未完全了解。 “虽然在持续学习领域有很多研究通过算法设计来研究如何实验性地解决灾难性遗忘,但人们仍然缺乏对哪些因素很重要以及它们如何影响灾难性遗忘的理解,”休斯顿大学计算机科学系助理教授Sen Lin解释说,他也是最近一篇关于灾难性遗忘对持续学习影响的研究的合著者 清醒-睡眠合并学习 (WSCL):根据最近研究的一位作者,卡塔尼亚大学 PeRCeiVe.AI 实验室的教授Concetto Spampinato,这是一种受生物学启发的“模仿大脑清醒-睡眠周期的”方法

    59010编辑于 2024-10-11
  • 来自专栏北京马哥教育

    LVM 灾难修复

    Linux LVM 架构图 image.png 回页首 LVM 灾难修复基本思路 灾难的类型 文件系统灾难一般可以分为两类——人为灾难和自然灾难。 修复的策略 对于企业用户而言,通常会制定严格的操作规章制度来和完备的备份策略来抵御人为灾难,还有完整的硬件冗余方案来对抗自然灾难;对于普通用户而言,一般都不具备这种客观条件来防范灾难。 一旦发生灾难,我们所要做的是尽量减少灾难的影响,尽可能恢复灾难所造成的数据损失。 对于 LVM 的人为灾难恢复而言,LVM 本身提供了数据备份和配置信息备份的工具,可以充分利用这些工具进行备份,在发生人为灾难导致物理卷错误,逻辑卷错误和卷组错误的时候,利用备份进行恢复,尽可能恢复灾难所导致的数据损失 回页首 LVM 的灾难恢复 本节将结合具体灾难,演示如何进行 LVM 灾难恢复。

    8.5K93发布于 2018-05-02
  • 来自专栏大数据杂货铺

    CDP灾难恢复简介

    为什么要进行灾难恢复? 灾难恢复和业务连续性规划主要侧重于管理和降低风险。 CDP 灾难恢复参考架构 今天,我们宣布正式发布 CDP 灾难恢复参考架构 (DRRA)。 此初始版本侧重于适用于产品线的常见行业定义、我们认为客户在考虑数据平台的灾难恢复和业务连续性规划时应遵循的行业标准,以及要考虑的一组初始指南和灾难场景在实施强大的数据平台时。 此外,我们还讨论了各种组件的灾难恢复准备状态以及每个组件的具体弹性策略。 CDP灾难恢复参考架构可在我们的CDP 参考架构微型站点内的公共文档中找到。 这对于灾难恢复尤为重要,因为错误描述会带来细微差别和影响。充其量,它会导致混乱。在最坏的情况下,它可能会让客户对他们的灾难准备产生一种虚假的安全感。

    1.1K30编辑于 2022-12-02
  • 来自专栏码农桃花源

    微服务的灾难

    《微服务的灾难》是我于 2019 年五一期间写的系列文章,当时其实写了很多: ? 通用语言的灾难 在架构师们很喜欢的 Domain Driven Design,即 DDD 中,第一课就是教导团队形成自己独有的通用语言(Ubiquitous Language),作为业务概念沉淀下来。 技术栈的灾难 微服务的布道师们特别喜欢鼓吹一个观点:拆分微服务之后,我们可以随意地对小模块进行重构,选择最合适的技术栈,并且如果写失败了随时对这个模块拿其它语言进行重写。 语言和框架太多,对于公司来说显然是灾难。比如常见的公司组织架构调整,业务技术部门进行重组,不同部门的系统一般会进行暴力交接。这里说的“暴力”的意思是,不管你能不能接得下来,反正我是给你了。 拆分与收敛的灾难 在之前写事故驱动开发的时候,提到过,在企业中的项目进行开发时,只要是自己方便,一个人可以用拆分和收敛同时作为自己的标准。所以大家都是双标狗。

    61320发布于 2021-06-17
  • 来自专栏新智元

    谁说AI没想象力?DeepMind破解灾难性遗忘密码,让AI也有记忆

    ---- 新智元报道 来源:futurism.com 编辑:肖琴 【新智元导读】灾难性遗忘仍然是阻碍科学家建立通用人工智能(AGI)的主要障碍之一,DeepMind的团队试图破解这一难题,让AI拥有了想象力 AI系统有一种倾向,在获取新信息时将之前学到的东西忘掉,这被称为灾难性遗忘(catastrophic forgetting)。 这是一个大问题。 但是,灾难性遗忘仍然是阻碍科学家建立通用人工智能(AGI)的主要障碍之一。AGI是一种无所不会、具有同理心和想象力的AI,就像我们在电视和电影中看到的那样。 DeepMind破解灾难性遗忘密码 上周在布拉格参加Human-Level人工智能联合多方会议的一些AI专家认为,灾难性遗忘的问题是他们认为不会很快实现AGI或human-level AI的最重要的原因 不过,谷歌DeepMind的高级研究科学家Irina Higgins在会议上的演讲中表示,她的团队已经开始破解灾难性遗忘的密码。

    50430发布于 2018-09-25
  • 来自专栏云计算D1net

    公共云中的灾难恢复

    由于S3在默认情况下仅将数据复制到单个区域内的可用区域,因此企业需要启用到灾难恢复区域的跨区域复制。 企业将承担在第二个区域传输和存储数据的成本,但不会产生计算、EBS或数据库成本,直到企业需要在其灾难恢复区内生效。而权衡是启动应用程序所需的时间。 企业根据需要使用Route 53切换到灾难恢复区域。根据需要将环境扩展到全部容量。有了这些选项,企业可以更快恢复数据,但会产生更高的成本。 虽然上述方法实际上是灾难恢复解决方案,但这个方案是关于构建真正高度可用的解决方案。 ? 成功的多区域设置和灾难恢复流程的关键之一是尽可能采用自动化工具。这其中包括备份、复制和启动企业的应用程序。

    1.2K90发布于 2018-06-08
  • 来自专栏数说工作室

    什么是维数灾难

    SVM第一话(回复 SVM1 查看)里提到了“维数灾难”,什么是维数灾难呢? 维数灾难(英语:curseof dimensionality,又名维度的诅咒)是一个最早由理查德·贝尔曼(Richard E. 数据的维数越高,会引发灾难,首先是计算量巨大,不用多说。其次,对于已知样本数目,存在一个特征数目的最大值,当实际使用的特征数目超过这个最大值时,分类器的性能不是得到改善,而是退化。 “维数灾难”通常是用来作为不要处理高维数据的无力借口。然而,学术界一直都对其有兴趣,而且在继续研究。 针对距离函数和最近邻搜索,当前的研究也表明除非其中存在太多不相关的维度,带有维数灾难特色的数据集依然可以处理,因为相关维度实际上可使得许多问题(如聚类分析)变得更加容易。

    3.3K100发布于 2018-04-08
  • 来自专栏云计算D1net

    云:如何推动灾难恢复?

    在Consigli的案例中,意味着升级灾难恢复功能。 其他人在寻找机会,并重新思索他们的通信与协同工具,以获取更多的社会存在感,冒险进入业务分析领域,简直就是一片蓝海。

    1.4K50发布于 2018-03-20
  • 来自专栏AI+运维:智能化运维的未来

    灾难恢复和业务连续性:制定有效的灾难恢复计划

    在信息化时代,企业面临着各种潜在的灾难风险,这些灾难可能会严重影响业务的正常运作。 无论是自然灾害、硬件故障还是网络攻击,企业都需要制定一套完备的灾难恢复计划(Disaster Recovery Plan,DRP),以确保在发生灾难时能够迅速恢复业务连续性。 了解灾难恢复和业务连续性 灾难恢复和业务连续性(Business Continuity,BC)是指在灾难发生后,通过一系列预先计划的措施,快速恢复关键业务功能,确保企业的正常运营。 制定灾难恢复计划的关键步骤 2.1 业务影响分析(Business Impact Analysis,BIA) BIA是制定灾难恢复计划的第一步。 结语 制定完备的灾难恢复计划是确保企业在灾难发生时能够快速恢复业务连续性的关键。

    50310编辑于 2024-11-12
  • 来自专栏人工智能头条

    深度学习,维度灾难 和 Autoencoders

    维度灾难 人类面部表达的关键特征 很明显,这样可以显著降低我们输入的维度(从 65,000 降到 60),但是这里也存在一些限制!手选特征会需要很多年的研究来进行优化。

    1.9K31发布于 2018-06-05
  • 来自专栏腾讯云数据库专家服务

    Redis Lua内存清理的灾难

    灾难现场 客户需要清理lua内存,于是按照标准动作执行了script flush。发现系统直接hang住了,请求无法执行,超时报错。

    3K100发布于 2021-01-29
  • 来自专栏今天也有在好好摸鱼(雾

    灾难 | 环境变量集体抽风

    本文作者:博主: gyrojeff    文章标题:灾难 | 环境变量集体抽风 本文地址:https://gyrojeff.top/index.php/archives/249/ 版权说明:若无注明,本文皆为

    55020发布于 2021-05-21
  • 来自专栏云计算D1net

    云端创新如何改变灾难恢复

    云端配置中的灾难恢复消除了拥有和管理专门用于灾难恢复的整个设施的成本和复杂性,并为备用系统和软件提供了更加客户友好的运营支出模型。 如今,许多企业的CIO正在考虑在创建灾难恢复环境方面支付巨大的费用到底有什么样的意义,因为这样的环境很少使用,而发生灾难是一件罕见的事情。 而企业一致认为,在发生灾难时保持业务连续性至关重要。 但是,传统的灾难恢复方法需要企业在专用基础设备上复制数据和应用程序。企业花费大量的资源来创建、测试、维护这个灾难恢复基础设施。 在灾难发生时,可以实现业务连续性,并能够快速安全地扩展以满足业务需求。 灾难恢复即服务(DRaaS)的演变 传统的灾难恢复模式的基本前提是,即使发生灾难也必须照常进行。 随着组织寻求更加经济高效的灾难恢复方法,灾难恢复即服务(DRaaS)的接受程度将会提高,这不仅是一个为灾难做好准备的更有效的方式,而且也将开始成为更多云原生企业的一个旅程。

    1.2K80发布于 2018-03-28
  • 来自专栏新智元

    AI也有健忘症?英国41岁教授专访:解决灾难性遗忘

    ---- 新智元报道   编辑:Joey 好困 【新智元导读】罗切斯特大学计算机科学家在持续学习领域的开创性研究,有望解决算法一直以来存在的灾难性遗忘问题。 如何实现持续学习,让AI不断片? 近日,来自罗切斯特大学的41岁计算机科学家Christopher Kanan在专访中表示,自己正在构建可以让AI随着时间的推移而不断学习的算法——就像我们人类一样。 灾难性遗忘 众所周知,AI在经过训练之后可以很好地完成「考试范围内」的任务,但是这些算法却不能像人类那样不断用新信息更新知识库。 如此带来的问题就是——「灾难性遗忘」(Catastrophic Forgetting)。 就像你遇到一个新朋友,你唯一能知道她名字的方法就是重启你的大脑。 如果我们能够彻底解决灾难性遗忘,这是否意味着人工智能可以随着时间的推移不断学习新事物? 不完全是。我认为持续学习领域的开放性问题并不是灾难性遗忘。

    41620编辑于 2022-08-26
  • 来自专栏云计算D1net

    权衡多云灾难恢复的挑战

    如果企业希望将其备份策略扩展到云端,则多云灾难恢复可能不是首选。云计算或私有数据中心发生故障的风险是引起多云架构关注的主要因素。 对于选择多云灾难恢复策略的组织来说,这会深刻影响架构选择、成本和其他因素。 此外,企业不太需要多云提供的灾难恢复冗余服务,因为单个故障导致数据中心和云计算瘫痪或中断的可能性非常小。 然后,构建混合云体系结构(云计算灾难恢复的首选方法)的企业可以使其数据中心和云计算环境相互备份。 幸运的是,无论架构师为混合云灾难恢复还是多云灾难恢复而构建,应用程序更改和云计算服务选择都基本相同。 成本要求 企业必须权衡多云灾难恢复的成本和它将增加的可靠性。不幸的是,几乎不可能对这些因素进行精确的分析,因为为多云灾难恢复准备应用程序的成本取决于所涉及的应用程序数量及其设计方式。 不管可靠性如何,多云灾难恢复无疑将增加托管成本。如果企业的备份资源无法将工作从另一个发生故障的托管点转移到灾难恢复中,则没有任何价值,因此企业将必须在每个云中保留一些容量以支持任何故障转移。

    1.1K10发布于 2019-10-23
  • 来自专栏iTesting

    微服务的灾难(3) -- 拆分

    在之前写事故驱动开发的时候,提到过,在企业中的项目进行开发时,只要是自己方便,一个人可以用拆分和收敛同时作为自己的标准。所以大家都是双标狗。

    55510发布于 2019-10-29
  • 来自专栏红色石头的机器学习之路

    机器学习中的维度灾难

    一、介绍 本篇文章,我们将讨论所谓的“维度灾难”,并解释在设计一个分类器时它为何如此重要。在下面几节中我将对这个概念进行直观的解释,并通过一个由于维度灾难导致的过拟合的例子来讲解。 图1显示了这种变化趋势,这就是“维度灾难”。 ? 图1. 另一方面说,使用更少的特征,维度灾难就能避免,就不会出现对训练样本过拟合的现象。 图8用不同的方式解释上面的内容。 在上面的例子中,我们展示了维度灾难会引起训练数据的稀疏化。使用的特征越多,数据就会变得越稀疏,从而导致分类器的分类效果就会越差。维度灾难还会造成搜索空间的数据稀疏程度分布不均。 四、结论 这篇文章我们讨论了特征选择、特征提取、交叉验证的重要性,以及避免由维度灾难导致的过拟合。通过一个过拟合的简单例子,我们复习了维度灾难的重要影响。

    3K01发布于 2017-12-28
  • 来自专栏灵儿的笔记

    AI大模型学习:技术革新带来的是社会变革还是带来灾难

    前言 在当今数字化浪潮中,人工智能(AI)的发展日新月异,其中AI大模型学习已成为引领这场技术革命的关键力量。 一、AI大模型学习的理论基础 现在,AI大模型学习可是个炙手可热的话题。听起来很高大上,但它到底是个啥玩意儿呢?简单来说,AI大模型学习就是让我们的人工智能更聪明、更懂我们的一个方法。 三、AI大模型在特定领域的应用 那AI大模型学习到底能干点啥呢?用处可大了去了! 但有了AI大模型,就不一样了! 首先,AI大模型能帮你找到最适合你的旅游地。你喜欢自然风光还是历史文化?喜欢热闹还是安静?AI都能从一大堆信息里,挑出最符合你口味的景点、酒店和餐馆。 但有一点可以肯定,那就是AI大模型学习肯定会越来越强大,越来越懂我们。未来可能会有更厉害的算法和超强的计算力,让AI大模型学习得飞快又准确。

    25500编辑于 2024-05-25
  • 来自专栏逆锋起笔

    我曾目睹的微服务灾难

    4 灾难 2:开发环境 我已经记不清有多少次有人走近我说: “嘿,João。你有时间吗?我们需要改善开发环境了!大家都在抱怨这些事,可是都没用!” 这一问题涉及各个层面。 5 灾难 3:端到端测试 不难想象,端到端测试和开发环境有相似的问题。在此之前,使用虚拟机或容器创建新的开发环境相对简单。 7 灾难 5:API 网关 在面向服务的架构中,API 网关是一种典型模式。它们帮助解耦后端与前端消费者。在实施端点聚合、速率限制或跨系统认证方面,它们也有用。 当使用未分页的端点或返回大量响应时,就会导致 API 网关灾难。又或者,如果你在没有后备机制的情况下进行聚合,仅仅调用一次 API 就会“烧毁”你的网关。 9 看到所有这些灾难,你还喜欢分布式系统吗? 要是我告诉你,我只是写下了我所看到的灾难中的一小部分呢?分布式系统很难掌握,而且大多数软件工程师只是在最近才持续接触到它们。

    51120发布于 2021-05-18
领券