- 综合排序
- 最热优先
- 最新优先
智谱AI开源GLM模型：8倍加速推理与全球布局
这种卓越的响应能力使其成为高效AI推理领域的领跑者，这也是智谱AI寻求进一步市场扩张的关键优势。 该模型标志着向更自主的AI代理迈出了一步，它能够主动搜索互联网、使用工具、进行深度分析和自我验证信息，以处理复杂的开放式查询——这是超越纯反应式AI的重要一步，也证明了智谱AI的前沿研究水平。 考虑到AI社区的不同需求，智谱AI还开源了GLM-4和GLM-Z1模型的较小参数版本（9B）。 这一战略性开源举措，加上面向国际的Z.ai平台的推出，强烈表明了智谱AI致力于全球可访问性和培育活跃的开源AI生态系统的承诺。 通过降低其尖端AI技术的获取门槛，智谱AI不仅在促进创新，同时也在建立强大的全球影响力和用户基础。FINISHED
1.2K180编辑于 2026-03-30- 来自专栏DeepHub IMBA
使用FP8加速PyTorch训练
FP8与Transformer Engine的集成 PyTorch(版本2.1)不包括FP8数据类型。 为了将我们的脚本编程为使用FP8，我们将使用Transformer Engine (TE)，这是一个用于在NVIDIA gpu上加速Transformer模型的专用库。 Fp8_autocast上下文管理器。 所以可能需要调整底层FP8机制(例如，使用TEapi)，调整一些超参数，和/或将FP8的应用限制在模型的子模型（一部分）。最坏的可能是尽管进行了所有尝试，模型还是无法与FP8兼容。 总结 在这篇文章中，我们演示了如何编写PyTorch训练脚本来使用8位浮点类型。展示了FP8的使用是如何从Nvidia H100中获得最佳性能的关键因素。
98340编辑于 2023-11-20 - 来自专栏刘旷专栏
AI主播、AI记者、AI编辑，传媒AI化加速
但随着AI的深入，Microsoft News方面逐渐转向 AI，其鼓励出版商和新闻工作者使用AI辅助工作，或用AI替代人工进行内容的处理、过滤、发表。 微软作为全球名企，每个改变都会引起其他企业效仿和学习，这一次AI替代编辑人员的改变也将影响传媒行业的发展。国外传媒AI之路是如此，国内传媒AI化之路也在逐渐升温。 传媒行业正在AI化 目前为止，AI对于各行各业起到的作用都是正面性的，传媒行业也不例外。 AI化。 传媒行业加速AI化，本质上是主流媒体、科技巨头为强化自身竞争实力所作出的改变，而新趋势将带来新格局，又一轮竞争开始了。 文/刘旷公众号，ID：liukuang110
1.2K30发布于 2020-06-28 - 来自专栏CSDN技术头条
Facebook开源Torchnet，加速AI研究
近日，Facebook 发表了一篇学术论文和一篇博客帖子详述Torchnet——一个用于简化人工智能——深度学习的新型开源软件。 图片描述 深度学习涉及海量数据，比如图片之上训练人工神经网络是目前的一大技术趋势。利用神经网络来预测新的数据，相比于构建一个全新的深度学习框架，Facebook决定在Torch基础之上来构建深度学习框架，Torch是一个Facebook之前开源的源程序库。 Facebook人工智能研究实验室深度学习专家Laurens van der Maaten表示：“深度学习让一切变得很容易，
64690发布于 2018-02-12 - 来自专栏人人都是极客
解密AI芯片的加速原理
下面我们从以上三点阐述下目前比较主流的深度学习在芯片层面实现加速的方法。 AI 芯片的加速原理 乘加运算硬件加速，脉冲阵列 ? 脉动阵列并不是一个新鲜的词汇，在计算机体系架构里面已经存在很长时间。 很多人提出8位甚至1位的定点系数也能达到很不错的效果，这样的话从系数压缩来看就会有非常大的效果。 从下面三张人脸识别的红点和绿点的对比，就可以看到其实8位定点系数在很多情况下已经非常适用了，和32位定点系数相比并没有太大的变化。 上面讲了一些比较经典的加速方法。下面分享几个已经存在的AI加速芯片的例子，相信这样会更加直观。 AI 芯片实例 TPU ? 这是Google的TPU。 这一个是Rokid和杭州国芯共同打造的一颗针对智能音箱的SoC，AI加速只是里面的一个功能。通过上面右边的框图可以看到里面集成了Cadence的DSP，还有自己设计的语音加速硬件IP——NPU。
92630发布于 2019-05-14 - 来自专栏云上修行
vLLM: 加速AI推理的利器
fp8_e5m2,fp8_e4m3}] [--quantization-param-path QUANTIZATION_PARAM_PATH] [--max-model-len MAX_MODEL_LEN * "npcache"将以pytorch格式加载权重并存储numpy缓存以加速加载。* "dummy"将以随机值初始化权重，主要用于性能分析。 --kv-cache-dtype {auto,fp8,fp8_e5m2,fp8_e4m3} kv缓存存储的数据类型。 CUDA 11.8+支持fp8(=fp8_e4m3)和fp8_e5m2。 当KV缓存数据类型为FP8时，通常应当提供此文件。否则，KV缓存比例因子默认为1.0，可能导致准确性问题。FP8_E5M2（未缩放）仅在CUDA版本大于11.8时支持。
3.3K10编辑于 2024-07-22 - 来自专栏人人都是极客
解密AI芯片的加速原理
下面我们从以上三点阐述下目前比较主流的深度学习在芯片层面实现加速的方法。 AI 芯片的加速原理 乘加运算硬件加速，脉冲阵列 ? 脉动阵列并不是一个新鲜的词汇，在计算机体系架构里面已经存在很长时间。 很多人提出8位甚至1位的定点系数也能达到很不错的效果，这样的话从系数压缩来看就会有非常大的效果。 从下面三张人脸识别的红点和绿点的对比，就可以看到其实8位定点系数在很多情况下已经非常适用了，和32位定点系数相比并没有太大的变化。 上面讲了一些比较经典的加速方法。下面分享几个已经存在的AI加速芯片的例子，相信这样会更加直观。 AI 芯片实例 TPU ? 这是Google的TPU。 这一个是Rokid和杭州国芯共同打造的一颗针对智能音箱的SoC，AI加速只是里面的一个功能。通过上面右边的框图可以看到里面集成了Cadence的DSP，还有自己设计的语音加速硬件IP——NPU。
4.5K30发布于 2018-09-25 - 来自专栏Python绿色通道
8个 可以让 Python 加速的 tips
本文对一些 Python 代码加速运行的技巧进行整理。 0. 代码优化原则 本文会介绍不少的 Python 代码加速运行的技巧。在深入代码优化细节之前，需要了解一些代码优化基本原则。 result = computeSqrt(size) main() 在第 1 节中我们讲到，局部变量的查找会比全局变量更快，因此对于频繁访问的变量sqrt，通过将其改为局部变量可以加速运行 sum def main(): size = 10000 for _ in range(size): sum = computeSum(size) main() 8.
82120发布于 2021-11-10 - 来自专栏机器之心
详解AI加速器（四）：GPU、DPU、IPU、TPU…AI加速方案有无限种可能
在这篇文章中，我们将跟着作者的思路回顾一下相关 AI 硬件公司，看看都有哪些公司在这一领域发力。 这是本系列博客的第四篇，主要介绍了 AI 加速器相关公司。 全球科技行业最热门的领域之一是 AI 硬件， 本文回顾了 AI 硬件行业现状，并概述相关公司在寻找解决 AI 硬件加速问题的最佳方法时所做的不同赌注。 AI 芯片领域，或者更准确地说，AI 加速器领域（到目前为止，它已经不仅仅是芯片）包含了无数的解决方案和方法，所以让我们回顾这些方法的主要原则。 GraphCore GraphCore 是首批推出商业 AI 加速器的初创公司之一，这种加速器被称为 IPU（Intelligent Processing Unit）。 图源：ZDNet 详解 AI 加速器（一）：2012 年的 AlexNet 到底做对了什么？ 详解 AI 加速器（二）：为什么说现在是 AI 加速器的黄金时代？
2.6K30编辑于 2022-03-04 - 来自专栏InCerry
.NET8 硬件加速指令的支持
在这篇文章中，我将深入介绍我们在 .NET 8 中引入的内容以及它所启用的功能类型。 作为一个平台，Wasm 已经开始提供底层的 SIMD（单指令多数据）支持，以便加速核心算法，而 .NET 也相应地选择通过硬件内在函数来暴露对这一功能的支持。 同样，它继续公开 Vector512.IsHardwareAccelerated 属性，允许你确定通用逻辑是否应该在硬件中加速，或者如果它将通过软件回退来模拟行为。 后来在 2003 年，当 x64 平台在 AMD Athlon 64 上引入时，它又提供了 8 个额外的寄存器，这些寄存器能被 64 位代码访问，被命名为 xmm8 到 xmm15。 AVX-512 在实践中的应用示例 AVX-512 可以用来加速所有 SSE 或 AVX 场景下的相同情况。
88310编辑于 2023-12-26 - 来自专栏技术进阶
Centos 7.0-7. 8 安装bbr加速教程
访问 http://[your-server-IP]/500mb.zip 来测试下载速度~
1.7K10编辑于 2021-12-24 - 来自专栏量子发烧友
量子+AI：量子计算加速机器学习
机器学习技术的快速发展有赖于计算能力的提高，而量子计算因其独特性质，使得它无论在数据处理能力还是数据储存能力，都远超经典计算，从而可以解决目前机器学习算法处理海量大数据时计算效率低的问题，也有利于开发更加智能的机器学习算法，将大力加速机器学习的发展 通过量子算法使某些在经典计算机上不可计算的问题变为可计算的, 从而大幅降低机器学习算法的计算复杂度, 如量子退火(quantum annealing，QA)算法、Gibbs采样等； （2) 量子理论的并行性等加速特点直接与某些机器学习算法深度结合 plot_histogram(counts) 3.3 Paddle Quantum Paddle Quantum（量桨）是一种开放源代码的机器学习工具包，旨在帮助数据科学家在量子计算应用程序中训练和开发AI documentation/machine-learning/ 【7】https://qiskit.org/documentation/machine-learning/tutorials/index.html 【8】
1.9K40编辑于 2023-02-24 - 来自专栏量子位
浪潮发布OpenStack AI云平台，加速行业AI进程
8月30日，在2018浪潮技术与应用峰会（Inspur World 2018）上，浪潮发布OpenStack AI云平台，实现了在OpenStack云平台上快速、轻松的构建AI开发能力。 △ 浪潮集团副总裁 彭震 云+AI融合基础架构加速行业AI落地 随着AI在社会生产生活各环节的渗透加速，可以预见的是AI将会快速步入到“应用繁荣期”，商业组织与科研机构的AI技术与应用研发将趋向多样化， 因此，如何将云计算与AI融合，使得IT基础架构既能具备云的灵活性，也能保留AI所需的高性能，将成为推动AI真正成为一项社会性变革技术的重点所在。 △ 浪潮OpenStack AI云平台架构 高集成度进一步简化AI开发 浪潮自主开发的AIStation在集成度上有显著提升，极大的降低了AI开发难度并简化操作。 浪潮AI&HPC总经理刘军表示：“浪潮OpenStack AI云平台为用户提供了面向未来的云+AI融合基础架构，使其在开源云平台上能够简单、快速构建易用、先进、完整的AI开发环境，赋能更多行业快速利用人工智能技术进行产品服务开发
97540发布于 2018-09-29 - 来自专栏CODING DevOps
X加速计划 | 聚焦机器人& AI 领域的产业加速营！
海归创业学院在第一期人工智能主题班成功经验基础上，今年强势联合科沃斯共同主办X 加速计划。 X加速计划 深圳第一期 上海第二期 同步开始招募 加速计划内容 PROJECT COURSE 加速计划流程 PROJECT SCHEDULE 备注：深圳、上海两地课程时间基本一致。 AI人工智能：声学处理、语音识别、语义理解、计算机视觉 3. 大数据：基于大数据基础，AI为引擎的消费、金融、安防等行业应用 项目筛选基本情况 1. 创始团队占股超过50%； 2. 报名方式 若你想报名参加X加速计划，可通过以下方式报名： 点击左下角的“阅读原文”，在活动行的入口“我要报名”进行报名。 X加速计划仅针对创始人，创始人，创始人，重要的事情说三遍； 3. 加速计划不收取课程费用，活动期间餐费、住宿费、交通费、学杂费自理； 4.
38710编辑于 2023-05-17 - 来自专栏存储公众号：王知鱼
Micron：SSD替换主存，加速AI落地
Fig-1 AI/ML 处理数据量越来越多，一说数据每年增长430x。 IGB 在 AI 领域受到关注，尤其是在图学习和图计算的研究中，因其能够帮助研究者比较不同算法的效果和效率。该数据集的多样性和真实场景的代表性使其成为图相关任务的一个重要基准。 Fig-2 NVIDIA 加速计算常见的存储案例。 Fig-8 使用DeepSpeed ZeRO进行大型语言模型推理。 和不少AI从业人员交流，共性认知是，尚未出现 Killer APP，部分原因是技术本身成熟度尚未达标，另一部分可能还是基础设施建设成本高昂，“贫穷限制了想象”。
45610编辑于 2025-02-11 亚马逊Nova AI挑战赛加速生成式AI发展
亚马逊Nova AI挑战赛加速生成式AI领域发展首届全球大学竞赛，致力于推动安全、可信的AI辅助软件开发。发布时间：2025年3月10日在负责任AI发展框架下，通过与顶尖大学合作以培育突破性研究。 虽然该挑战赛将探索生成式AI的多个方面，但今年的重点聚焦于“可信AI：推进安全的AI辅助软件开发，以构建更安全、更可靠的应用程序”。 、快节奏的锦标赛，旨在加速面向实际应用的学术研究。 挑战赛本质上是跨学科的——位于负责任AI、生成式AI、安全、对话式AI和自动化软件开发的交叉点。因此，它汇集了在多个研究领域具有专业知识的团队，为竞赛带来了不同的才能和视角。 研究领域对话式AI安全、隐私和滥用防护标签生成式AI负责任AI大语言模型学术合作某Nova关于作者撰稿人
9410编辑于 2026-01-13- 来自专栏MixLab科技+设计实验室
AI 加速你的想法 | MixLab+AI 第39期
Knowledge / def mix( ): 本期收录 新增13+ NO. 39 设计流程的加速包 #每周ai工具 快速验证想法的工具——UIzard，基于图像识别，将线框图快速转化成高保真原型，帮助设计师能快速验证可行性 设计流程的加速包 | 每周ai工具 #游戏##技术美术 Alex Strook 最近分享了模拟油画的 NPR（非现实渲染）技术项目，非常赞。 包括AI产品、AI技术、AI场景、AI投资事件、AI的思维方式等。MIX的主题包括：AR、VR、计算设计、计算广告、智能设计、智能写作、虚拟偶像等。 加入星球后，即可加入Mix读书会。
61341发布于 2020-10-19 - 来自专栏计算机视觉战队
详解AI加速器：为什么说现在是AI加速器的黄金时代？
选自 Medium 作者：Adi Fuchs 机器之心编译 机器之心编辑部 在上一篇文章中，前苹果工程师、普林斯顿大学博士 Adi Fuchs 解释了 AI 加速器诞生的动机。 在这篇文章中，我们将跟着作者的思路回顾一下处理器的整个发展历程，看看 AI 加速器为什么能成为行业焦点。 转自《机器之心》 这是本系列博客的第二篇，我们来到了整个系列的关键所在。 如今，随着越来越多表现出「良好」特性的应用程序成为加速的目标，加速器越来越受关注：视频编解码器、数据库处理器、加密货币矿机、分子动力学，当然还有人工智能。 是什么让 AI 成为加速目标？ AI 是一个「可加速」的应用领域 AI 程序具有使其适用于硬件加速的所有属性。首先最重要的是，它们是大规模并行的：大部分计算都花在张量运算上，如卷积或自注意力算子。 如果没有适当的加速硬件来满足你的 AI 需求，对 AI 进行实验和发现的能力将受到限制。
1.9K20编辑于 2022-03-04 - 来自专栏Tapdata
TapData × 梦加速计划 | 与 AI 共舞，TapData 携 AI Ready 实时数据平台亮相加速营
4月10日，由前海产业发展集团、深圳市前海梦工场、斑马星球科创加速平台等联合发起的「梦加速计划·下一位独角兽营」正式启航。 未来 5 个月，将通过增长加速、AI 赋能、产品打磨、融资对接等多个维度，全面提升项目创新能力与市场竞争力，助力企业迈入快速增长轨道。 TapData 基于 MCP 的 AI-Ready 实时数据平台 在 AI 加速重塑企业运作方式的今天，数据的实时性、完整性与可用性，直接决定着智能推理和决策的效率与精准度。 梦加速计划：助力独角兽梦想加速落地 「梦加速计划·下一位独角兽营」不仅是一场深港协同创新的盛会，更是一次连接科研-产业-资本的系统加速。 TapData 也将在此次加速过程中，深度融入梦工场创新生态，对话 30+ 投资机构、产业龙头与科研平台，探索 AI 时代实时数据新价值，携手前海与香港，迈向下一个增长新高峰。
24500编辑于 2025-04-19 - 来自专栏防止网络攻击
【玩转 GPU】GPU加速的AI开发实践
二、NVIDIA Riva SDKNVIDIA Riva 是一个 GPU 加速的 SDK，用于构建和部署完全可定制的实时语音 AI 应用程序，这些应用程序可以实时准确地交付。 四、NVIDIA GPU 加速“ AI +分子模拟”，助力深势科技打造微尺度工业设计平台本案例中通过 NVIDIA A100 Tensor Core GPU，深势科技开创的“多尺度建模+机器学习+高性能计算 GPU、CUDA 加速药物研发与材料设计等微尺度工业设计中分子模拟的典型应用。 NVIDIA GPU 加速科学计算，释放“AI + Science”巨大潜力“AI + Science” 的科学研究范式是当下的前沿热点。 深势科技作为AI+Science范式的典型企业，致力于以算力算法的进展切实赋能科研突破与产业升级，NVIDIA GPU 助力深势科技加速实现技术迭代与产品部署。
1.6K00编辑于 2023-05-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号