本地存储和计算能力的物理限制最初推动了企业向云端的转移,用户可以在云端获得"几乎无限"的资源。Riverbed加速业务高级副总裁兼总经理Chalan Aras表示,因此,现在有数十PB的数据存储在云端,企业急于应用人工智能技术来利用这些信息。
然而,这些数据可能不在AI处理的理想位置。在多云策略下,企业数据本质上分散在多个提供商之间。即使AI项目所需的所有数据都驻留在单一云中,也可能存储在电力成本高昂的地区,因此不太可能配备AI工作负载所需的图形处理单元。无论哪种情况,企业都面临着移动大量数据的艰巨任务。
这种数据移动成本高昂,仅出口费用就可能高达每PB 8万美元,Aras警告说——即使在单一云提供商内部传输也是如此。此外,传输必须严格管控,以确保正确的数据完整地到达正确的目的地。速度是另一个主要瓶颈——通过10Gbps连接传输1PB数据大约需要9天时间。
这还只是历史数据。通常需要持续为AI模型提供最新数据,可能每天一到两次。虽然数据量要小得多,但快速高效地进行传输仍然很重要,因为模型全天候运行,治理仍然至关重要。
Aras解释说,Riverbed现在正在将其25年的数据移动经验应用到客户的云环境中。该过程包括从存储中提取数据并针对网络传输进行优化。"我们把它放在盘子里提供服务,"他说。
在一个实例中,某组织需要将1PB数据传输到新位置进行AI训练,但发现其现有流程需要12天。这只是第一批数据,还有20PB数据需要移动。该组织已经预订了极其抢手的GPU时间,迫在眉睫的截止日期面临风险。Riverbed在三到四周内完成了整个任务,而不是预计的八到九个月,确保数据传输不再是项目的限制因素。
类似地,在金融服务行业的一次合并后,一家公司需要将大约30PB的数据从一个云传输到另一个云。Riverbed在刚刚超过一个月的时间内完成了迁移,同时满足了所需的治理标准。
更广泛地说,成熟企业的IT团队历来根据当时的情况做出数据存储和处理决策。在此基础上,还有各种在部门或业务线层面做出的决策。因此,如今的企业通常运营着本地数据中心、多个云环境和众多软件即服务应用程序的混合体。
虽然整合到单一云提供商是可能的,但组织必须决定一个提供商是否真的能够满足他们的所有需求而不被迫妥协。Aras指出,即使是最大的超大规模云服务商也无法在每个地理位置都有存在。出于这个和其他原因,即使意味着牺牲单一合同和单一技能集的简单性,第二个提供商通常也是必要的。
将系统分布在多个位置很少是问题,直到所有数据都需要聚合在一个地方。随着AI采用的普及,这种需求变得越来越普遍。为了从数据中提取全部价值,企业面临着移动大量数据的真实需求——不仅仅是一次性的,而是持续的基础上。
Aras指出,对于智能体AI来说尤其如此,它可能需要从无数来源提取信息来有效响应提示。他说,这对用户来说很棒,因为他们可以得到非常快速的答案,但确实需要频繁的数据移动。
直到最近,Riverbed的大部分业务都围绕支持一次性数据传输,例如将系统从本地位置迁移到云端。然而,Aras指出,客户越来越需要持续移动大量数据来支持他们的AI策略。他说,Riverbed的方法使其产品适用于这两种情况。
Q&A
Q1:企业在AI项目中面临哪些数据传输挑战?
A:企业面临数据分散在多个云提供商、传输成本高昂(每PB出口费用高达8万美元)、传输速度慢(1PB数据通过10Gbps连接需要9天)以及需要严格治理确保数据完整性等挑战。
Q2:Riverbed如何帮助企业解决AI数据传输问题?
A:Riverbed利用25年数据移动经验,通过从存储中提取数据并针对网络传输进行优化,大幅提升传输效率。例如将原本需要8-9个月的30PB数据迁移任务缩短到一个多月完成。
Q3:为什么智能体AI对数据传输要求更高?
A:智能体AI需要从众多来源提取信息来有效响应用户提示,这要求频繁的数据移动。虽然用户可以获得快速答案,但背后需要持续不断地进行大量数据传输来支撑AI模型的实时响应能力。