- 综合排序
- 最热优先
- 最新优先
张量广播机制【Ai Infra 3.0】
概述[PyTorch Java 硕士研一课程]展开代码语言：TXT自动换行AI代码解释# 理解广播机制当对张量执行逐元素操作（如加法、减法或乘法）时，它们的形状通常需要对齐。 ])println(f"Result c:\n{c}")// 结果 c:// tensor([[11, 12, 13],// [14, 15, 16]])展开代码语言：Java自动换行AI 展开代码语言：TXT自动换行AI代码解释import torch.*// 张量 A: 形状 [2, 3]val a = torch.tensor([[1, 2, 3], 右侧对齐结果如下：代码语言：TXT自动换行AI代码解释 张量 A: 2 x 3 张量 B: 3兼容性检查：末尾维度：3 等于 3。兼容。结果维度大小为 3。 代码语言：TXT自动换行AI代码解释import torch.
13410编辑于 2026-03-13- 来自专栏老张的求知思考世界
AI Agent Infra领域的工具图谱
无论是IT技术领域，还是AI领域，基础技术设施建设一直是很重要的一部分。 软件生态要想发展得足够庞大，需要底层硬件和基础设施的支撑。在AI领域，这个逻辑同样适用。 过去三年，大模型(LLMs)领域的建设已经有了长足的进步，目前已经进入了阶段性的能力瓶颈期；智能体从23年初步探索到现在的大规模落地应用，也许很快我们会迎来AI First应用爆发点；未来几年AI的发展方向则是向 因此我才会在前面介绍智能体基础架构的文章中断言道：Agent Infra是Agent落地的关键！因为它涵盖了Agent从开发到部署的完整生命周期。 目前在Agent Infra层面，可以大致划分为这四个赛道：Environment、Context、Tools、Agent Security。 下面是我查阅很多资料后整理的Agent Infra工具图谱，供大家参考。
1.1K10编辑于 2025-06-25 - 来自专栏GiantPandaCV
AI Infra论文阅读之LIGHTSEQ（LLM长文本训练的Infra工作）
介于篇幅原因，这篇文章只读一下这篇paper，把握一下核心的Infra相关的idea。这篇paper应该还没有中会议，处于openreview阶段。
72110编辑于 2024-02-22 - 来自专栏AI
拥抱 AI 范式革新：如何成为 AI Infra 核心专家
在大模型、多模态与智能体技术爆发的今天，AI Infra 正从 “支撑算力供给” 的幕后角色，走向 “定义智能生产方式” 的核心舞台。 一、AI Infra 的范式革新：从 “算力供给” 到 “智能生产”过去，AI Infra 的核心目标是 “让模型训得更快”。 智能生产平台化：AI Infra 不再是零散的工具集，而是整合了数据、训练、推理、监控的一体化平台，让 AI 应用的开发和部署像使用水电一样便捷。 二、AI Infra 核心专家的全栈技术栈要成为 AI Infra 核心专家，必须构建覆盖 “硬件 - 分布式 - 框架 - 工程化 - 架构设计” 的全栈能力。1. 行业标准：参与制定 AI Infra 标准、开源贡献、技术布道。业务赋能：理解业务场景，设计最优 AI Infra 方案，支撑智能体、多模态、世界模型等新应用。
94112编辑于 2026-02-13 - 来自专栏机器之心
大模型最难的AI Infra，用Vibe Coding搞定
然而，当我们目光转向实际的系统，特别是 AI Infra 这种复杂系统时，Vibe Coding 就会常常会陷入「水土不服」的困境。 总结下来，主要有这三个方面的问题。 而这些问题背后的根源在于：AI Infra 到底还是个复杂系统，动辄数万行代码、成百上千个相互关联的决策点，而当前的对话式编程缺乏持久化、结构化的决策管理机制。 换句话说，Vibe 本身是模糊且不稳定的，无法支撑严肃复杂的 Infra。 不过 Vibe Coding 的发展不可逆，其广泛应用的潜力不应就此止步。 要让 Vibe Coding 真正适用于 AI Infra 开发，我们实践了文本驱动的 Vibe Coding 方法：通过设计文档将所有关键决策体系化、持久化。 AI Infra 中的资源调度系统，尤其是面向 Agentic RL，正是这样一个理想试验场。该系统是数万行代码的分布式训练系统，面临 GPU 利用率优化的复杂挑战，涉及核心调度逻辑改动。
27510编辑于 2026-01-12 - 来自专栏存储公众号：王知鱼
【企业级AI infra】IBM Vela系统：AI计算的革新之路
全文概览 随着AI模型规模的指数级增长，企业面临计算与存储的双重挑战。IBM通过Vela系统和Granite系列模型，重新定义了AI基础设施的标准。 获取AI基础设施设计原则：从硬件配置到自动化运维，构建可扩展的AI平台。 关于作者 职业生涯的经验 幻灯片描述了演讲者在20多年职业生涯中的关键阶段和经历。 AI工作负载 对 Infra 的要求 幻灯片描述了AI工作负载的不同阶段（数据准备、分布式训练、模型调优、推理）以及每个阶段所需的基础设施类型和时间要求。 ，尤其是大规模AI模型的计算集群。 所以更希望提供轻量化的软件定义能力，可以预想到的是：随着AI与业务系统的深度整合，软件定义的AI能力也将促成厚重的软件层技术栈。
74910编辑于 2025-03-10 腾讯云发布AI infra品牌“腾讯云智算”
9月5日，在腾讯全球数字生态大会上，腾讯云正式发布AI infra品牌“腾讯云智算”。 据介绍，腾讯云智算是一个集算存网一体的高性能智算底座，整合了腾讯云高性能计算HCC、高性能网络IHN星脉、高性能云存储、加速框架、容器、向量数据库、智算套件等腾讯云优势产品，能够为AI创新输出性能领先、
2.4K10编辑于 2024-09-05- 来自专栏腾讯开源的专栏
开源公告｜AI-Infra-Guard(AI基础设施安全评估工具) 发布
项目简介 AI Infra Guard(AI Infrastructure Guard) 是由混元安全团队-朱雀实验室研发的一款高效、轻量、易用的AI基础设施安全评估工具，专为发现和检测AI系统潜在安全风险而设计 安装与使用 ● 安装 下载地址: https://github.com/Tencent/AI-Infra-Guard/releases ● 使用 单个目标 . /ai-infra-guard -target [IP/域名] 多个目标 ./ai-infra-guard -target [IP/域名] -target [IP/域名] 从文件读取 . /ai-infra-guard -file target.txt AI分析 . /ai-infra-guard -target [IP/域名] -ai -token [混元token] 指纹匹配规则 AI Infra Guard 基于WEB指纹识别组件，指纹规则在data/fingerprints
2.5K10编辑于 2025-02-05 - 来自专栏GiantPandaCV
AI Infra论文阅读之《在LLM训练中减少激活值内存》
0x4.2.3 Pipline并行 GPipe->1F1B Pipline并行可以读我之前写的这篇paper解读：AI Infra论文阅读之将流水线并行气泡几乎降到零（附基于Meagtron-LM的ZB-H1
1.6K10编辑于 2024-03-26 腾讯混元AI Infra核心技术重磅开源：推理吞吐提升30%
腾讯混元AI Infra团队正式推出开源生产级高性能LLM推理核心算子库 HPC-Ops。 GitHub项目地址：https://github.com/Tencent/hpc-ops在大模型时代，计算效率已成为 AI 应用及发展的关键瓶颈。 现有主流算子库主要存在以下痛点：1、使用成本高：主流算子库设计复杂，核心 Kernel 封装深，在其上修改适配成本非常高，除了对代码非常熟悉的开发者，普通的AI 研究者很难在其上适配修改。 目前，HPC-Ops 已在 github 开放源码供开发者下载使用，同时腾讯混元infra团队也表示，欢迎行业内的技术实践者提交高价值 PR，参与算子边缘场景优化、教程案例打磨等精准化贡献，共同推动大模型推理技术的边界拓展
51410编辑于 2026-02-07- 来自专栏深度学习与python
Agent规模化落地前夜，AI Infra的难题全都暴露了
AI Infra 的能力框架、落地路径与未来趋势。 InfoQ 特别邀请 IDC 高级研究经理张犁、智诊科技产品总监罗龙生、腾讯云异构计算高级产品经理黄阳，解析 AI Infra 的六大核心能力、Agent 规模化的结构性难题、AI Infra 价值闭环衡量标准 重估 AI Infra 价值 随着 AI 应用进入规模化落地阶段，Agent 也逐步快速渗透到各个行业。 AI Infra 的风险和成本控制 明确了衡量 AI Infra 能力的宏观框架，实际落地过程中，企业还需要用可量化的方式，判断 AI Infra 在具体业务场景的价值。 AI Infra 下一阶段的竞争逻辑 随着 Agent 在行业中加速落地，AI Infra 的竞争开始从“比技术”走向“比业务价值”。
55710编辑于 2025-11-26 - 来自专栏vpp开发与应用
VPP 测试框架之infra基础库测试
该系列文章有4篇：VPP 测试框架之官方文档解读VPP 测试框架之使用示例及参数说明VPP Bond单元测试源码分析Vpp 测试框架之infra基础库测试（本文）本文已同步至：个人博客：itwakeup.com 微信公众号：vpp与dpdk研习社（vpp_dpdk_lab）1. infra单元测试在src/vppinfra/test/目录下，有许多通过REGISTER_TEST注册的单元测试，用于对vppinfra 编译 test_infra执行make build生成可执行文件test_infra1.2. 运行参数说明test_infra运行参数说明：perf：携带该参数将运行性能测试，默认为功能测试。 /build-root/build-vpp_debug-native/vpp/bin/test_infra filter toeplitzMultiarch Variant: default------ /build-root/build-vpp_debug-native/vpp/bin/test_infra perfWarming up...Multiarch Variant: default----
42410编辑于 2025-09-14 腾讯云Agent Infra解决方案概要
一、产品定位与核心亮点 技术定义：Agent Infra（智能体基础设施）解决方案，核心为Agent Runtime，集成AI运行时（执行引擎）、云沙箱、安全可观测等核心模块。 商业差异化卖点：为智能体提供稳定、安全、可弹性伸缩的运行环境，将开发团队从复杂底层基础设施（Infra）问题中解放，专注Agent本身创新。 二、产品应用场景 受众：开发团队（构建AI Agent）。 场景：四大典型场景——Coding Agent、Deep Research、GUI Agent、RL强化学习。
22420编辑于 2026-04-06AI Infra安全体系构建：应对大模型时代五大核心风险的纵深防御实践
剖析行业战略困境与核心瓶颈 AI技术变革推动2026年金融行业全面迈入大模型应用阶段，传统IT基础设施向AI Infra演进，攻击面急剧扩大。 undefined数据来源：腾讯全球数字生态大会 城市峰会 主讲人：腾讯云安全解决方案架构师 张华 构建分层协同的AI安全体系 治理体系：MLSecOps驱动全周期管理 建立AI安全运营团队（MLSecOps ），统一管理模型训练与部署风险，制定AI攻防演练标准（模拟红蓝对抗场景）； 推动行业共享威胁情报，建立AI攻击特征库（如OWASPLM风险Top 10、腾讯AI ATT&CK攻击矩阵）。 合规与伦理体系：顶层设计与责任落地 依中国《生成式人工智能服务管理暂行办法》、欧盟《人工智能法案》建立风险控制框架与审计标准，定期风险评估； 倡导“负责任AI”开发准则，建立AI伦理审查委员会，限制恶意应用 、沙箱运行、动态脱敏（静态/动态）构建宿主层、Runtime层、网络层纵深防御，集成科恩三重检测引擎（静态+动态+AI）。
58020编辑于 2026-04-03腾讯云AI原生云：加速Agent落地的Infra解决方案与量化成效
具体瓶颈包括对AI Infra的三重要求：更快模型推理（模型推理速度、服务启动速度）、更灵活工具集成（工具链适配）、更可靠系统守护（主动发现、故障自愈），传统Infra难以支撑Agent规模化落地。 构建贴近Agent的AI原生云Infra 腾讯云推出Agent Infra解决方案，以“更贴近Agent的AI原生云”为核心，包含六大能力模块： Agent运行引擎：会话隔离、Serverless架构 量化Agent Infra应用的业务成效 方案落地后实现关键指标优化（数据来源：腾讯全球数字生态大会）： 模型推理效率：TACO-DIT推理效率提升122%；TKE&qGPU使GPU使用率提升80% 典型客户实践验证方案价值 方案获多行业头部客户采用，包括美团、小红书、快手、拼多多、MINIMAX、百川智能（BAICHUAN AI）、XVERSE元象、Sogou搜狗、作业帮、猿辅导、TAL好未来等（ 原生远程终端（支持脚本生成、命令纠错）； 权威认证：获Gartner Generative AI Specialized Cloud Infrastructure亚太第一评级；2024年Frost
26130编辑于 2026-04-19- 来自专栏pytorch on java
【Java深度学习】PyTorch On Java 系列课程 第五章 10 ：数据集【AI Infra 3.0】
__getitem__ 接受一个索引 idx，获取对应的特征和标签，将它们转换为 PyTorch 张量，并以元组形式返回。这种转换为张量的操作在 __getitem__ 中很常见。
10810编辑于 2026-03-13 腾讯云 Agent Infra 解决方案技术概要
一、产品定位与核心亮点 腾讯云 Agent Infra（智能体基础设施）解决方案——Agent Runtime，是为AI智能体（Agent）提供的专用运行环境。 其核心是通过集成AI运行时（执行引擎）、云沙箱、安全可观测等模块，构建稳定、安全、可弹性伸缩的智能体基础设施，旨在解决传统云计算环境对AI Agent高自主、长会话、突发负载等特性的不适配问题。 Research 研究型机构、数据分析师 需长期记忆管理、复杂上下文关联与检索 上下文服务 GUI Agent 自动化操作类应用开发者 图形界面交互需求高、环境隔离与权限控制难 云沙箱、安全网关 RL强化学习 AI 训练周期长、成本控制难 执行引擎、弹性资源调度 三、应用框架和功能介绍 功能框架 Agent Runtime 包含以下核心模块： 云沙箱：提供会话隔离与Serverless运行环境； 执行引擎：负责AI
35230编辑于 2026-04-06- 来自专栏深度学习与python
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
那么，Infra 工程师在日常工作中会遇到哪些真实需求与故障类型？开源 Infra 和国产卡适配训练推进过程中，又会遇到哪些难点和挑战呢？ 充分利用异构硬件特性、实现跨类型资源的智能调度与混部，已成为 AI 基础设施演进的重要方向。 在 6 月 27-28 日将于北京举办的 AICon全球人工智能开发与应用大会上，我们特别设置了 【AI 基础设施与生态构建】 专题。 该专题将聚焦 AI 软硬件及生态系统的建设，讨论如何打造高效的 AI 开发与应用环境。 综合来看，充分利用异构硬件特性、实现跨类型资源的智能调度与混部，已成为 AI 基础设施演进的重要方向。 观众：尹老师选择 SGLang 而非 vLLM 的原因是什么？
57210编辑于 2025-06-26 腾讯云智能体及AI Infra行业应用概要：从痛点解决到价值落地
安全层面：数据泄露风险（AI Agent自主执行权限过高）、模型攻击面扩大（提示词注入、敏感信息泄露）。 提供智能体开发及AI Infra解决方案 腾讯云以“智能体开发平台+AI Infra底座”为核心，提供全栈技术支撑，覆盖模型训推、数据治理、安全防护、场景落地全流程。 AI Infra底座： 算存网数一体：高性能计算集群HCC（RDMA/vRDMA网络）、智能高性能网络IHN、高性能存储（COS+GooseFSx）、训推加速套件TACO（训练/推理/DiT加速）。 —— 得理科技联合创始人（案例隐含） 总结选择腾讯云的核心优势 全栈AI Infra能力：算存网数一体（HCC/IHN/TurboFS/TACO），支持训推一体、弹性扩缩容，资源利用率提升80%+（ 生态协同优势：开放接口集成（微信/企业微信/第三方系统）、MCP协议工具标准化，支持存量业务快速融入智能体生态（来源：腾讯云Agent Infra解决方案）。
43220编辑于 2026-04-03- 来自专栏机器之心
Agent狂欢下的冷思考：为什么说Data&AI数据基础设施，才是AI时代Infra新范式
而对于真正的 AI Infra，核心则应该是驱动模型持续优化的数据闭环。 因此，Agent 想要发挥出强大的功能，必需可靠的 AI Infra！也因此，当 Agent 火爆的时候，AI Infra 的身价也随之水涨船高。 赛迪《2025 中国 AI Infra 平台市场发展研究报告》显示，在 Agent 市场急速扩大的同时，中国 AI Infra 平台市场规模预计 2025 年达 36.1 亿元，同比增长超 86%。 AI Infra 的重要程度可见一斑。 那当我们在谈论 AI Infra 的时候，我们到底在谈论什么？ AI Infra 的核心在于结构层能力的构建，包括分布式计算、数据调度、模型服务、特征处理与部署编排。
54710编辑于 2025-08-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号