首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏GPUS开发者

    NVIDIA × Groq 合作内幕首次公开

    本文整理自2026 NVIDIA GTC 大会现场座谈,对话嘉宾为Groq 创始人、全球首款 TPU 缔造者 Jonathan Ross。 Groq 的 COO Sunny Madra 主动找到英伟达 CEO 黄仁勋(Jensen),提出一个大胆想法:把 Groq 的 LPU 和英伟达的 GPU 连起来,分工跑大模型。 当时 Groq 只有 GPU 和普通以太网,没有 NVLink,依然硬着头皮做实验:把大模型的不同计算任务拆分,分别放到 GPU 和 LPU 上跑,结果一次成功。 展示给黄仁勋后,3 天敲定深化合作 3 周完成正式合作协议 签约次日,Groq 创始人全职进驻英伟达 圣诞节当天就拿到电脑开工 这场合作从想法到落地,速度快到刷新半导体行业纪录,也直接奠定了GPU+LPU

    18510编辑于 2026-04-13
  • 英伟达收购Groq核心资产!

    根据Groq官方博客与英伟达内部的说法,这是一项非排他性授权协议。 其主要内容包括: 1.业务分割:英伟达将获得 Groq 的所有资产与技术授权,但Groq 旗下的GroqCloud 云端业务并不在交易范围内,将维持独立运作。 2、人才吸纳:作为该协议的一部分,Groq 的创始人 Jonathan Ross、Groq 的总裁 Sunny Madra 以及 Groq 团队的其他成员将加入英伟达,以帮助推进和扩大授权技术的规模。 关于Groq 资料显示,Groq成立于 2016 年,总部位于美国加利福尼亚州山景城,是一家 AI 芯片生产商,旨在实现高吞吐量、低成本的推理,而不是训练。 不仅如此,Groq当时还喊话各大公司,扬言在三年内超越英伟达。

    41210编辑于 2026-03-19
  • 来自专栏芯智讯

    Groq CEO控诉:英伟达阻碍公平竞争!

    上个月美国人工智能初创公司Groq最新推出的面向云端大模型的推理芯片引发了业内的广泛关注,该芯片采用了全新的Tensor Streaming Architecture (TSA) 架构,以及拥有超高带宽的 这也使得一些客户对于Groq的AI芯片产生的兴趣。 但是,根据最新的报道显示,Groq CEO Jonathan Ross近日在接受采访时控诉英伟达阻碍公平竞争。 此前相关文章:《AI推理速度提升超10倍,Groq LPU能否取代英伟达GPU?》 编辑:芯智讯-林子

    25910编辑于 2024-03-06
  • 来自专栏科技云报道

    黑马Groq单挑英伟达,AI芯片要变天?

    “快”字当头,Groq可谓赚足眼球。Groq还喊话各大公司,扬言在三年内超越英伟达。 事实上,在这一波AI热潮中,“天下苦英伟达久矣”。 英伟达GPU芯片价格一再被炒高,而Groq的LPU架构能“弯道超车”,显然是众望所归。 因此,不少舆论惊呼Groq要颠覆英伟达,也有业内人士认为Groq想要“平替”英伟达还有很长的路要走。 Groq LPU:快字当头 据介绍,Groq的芯片采用14nm制程,搭载了230MB大静态随机存储器(SRAM)以保证内存带宽,片上内存带宽达80TB/s。 因此,Groq公司宣称,其LPU所带来的AI推理计算是革命性的。 在AI推理领域挑战GPU 尽管Groq高调喊话,但想要“平替”英伟达GPU并不容易。 从各方观点来看,Groq的芯片还无法与之分庭抗礼。

    48010编辑于 2024-02-26
  • 三星:Groq 3 LPU正在生产,订单量超预期!

    同时,英伟达新款人工智能(AI)推理专用芯片“Groq 3 语言处理单元(LPU)”已委托三星晶圆代工,并采用4nm工艺生产。 黄仁勋在三星代工生产Groq 3 LPU晶圆上亲笔签名并写上“GROQ SUPER FAST”,在三星HBM4晶圆上写上“AMAGING HBM4!”。这两款产品均由三星制造。 韩进万表示:“我们目前正在平泽工厂使用我们的 4nm 晶圆制造工艺生产 Groq 3 LPU。”他还补充道:“今年的订单量比我们预期的要多。” 关于英伟达委托三星晶圆代工生产 Groq 3 LPU 的背景,韩进万表示:“早在 2023 年英伟达收购 Groq 之前,我们和 Groq 就已经开始合作了。” 当被问及 Groq 3 LPU 何时开始贡献收益时,他回答说:“量产将于第三季度末或第四季度初开始。”他还补充道:“我们需要观察市场反应,但我相信明年对 Groq 3 LPU 的需求将真正增长。”

    18410编辑于 2026-03-19
  • 来自专栏存储公众号:王知鱼

    英伟达GTC2026:Groq解码器重塑推理战场

    识别专业化机遇:研究生获悉电力冷却创新(如钻石散热)与Groq低延迟路径,推动KV缓存卸载至存储的研究方向。 首先,他提及英伟达与Groq价值200亿美元的非独家低延迟推理技术许可协议,并称这将像当年整合Mellanox一样,“用Groq的创新拓展英伟达架构”——他特别强调“我们期待下月在GTC上分享更多”。 这直接关联到我们开头强调的黄仁勋对Groq的暗示为何如此重要。具体而言,边缘推理是英伟达庞大产品组合中一个 glaring(显眼)的缺口。Groq交易填补了这一缺口。 如果黄仁勋的Mellanox类比成真,我们预期英伟达将把Groq呈现为平台扩展,这绝非其强大产品线的简单附加。 这就是英伟达如何将其优势与推理叙事保留在自身架构内——即使Groq交易在技术上是非独家的。 关键论坛要点 推理已从“隐藏宝石”变为下一个计算浪潮——英伟达-Groq交易加速了业界对这一转变的认可。

    16510编辑于 2026-04-02
  • 来自专栏AI进修生

    ClaudeDev(已升级):Ollama、Groq全面支持!轻松集成AI工作流

    OpenAI 兼容 API 选项将允许你输入任何 OpenAI 兼容的端点并使用它,例如,如果你想使用像 Groq 这样的服务,你只需输入 Groq 的基本 URL、API 密钥、模型名称和其他详细信息 无论如何,现在让我先展示如何通过 OpenAI 兼容 API 选项使用 GroqGroq 的免费版可以在有限的使用率内免费使用,所以只需在 Groq 注册并获取一个 API 密钥。 在 URL 选项中输入 Groq API 基本 URL,输入你的 API 密钥,之后你需要输入你想使用的模型名称,他们有很多模型,我喜欢使用 Llama 3.1 70b 模型,所以只需像这样输入它。 这样就很酷了,现在你可以免费使用像 Groq 这样的服务,这非常棒。 我将使用 Llama 3.1 18b 模型,所以选择它并复制这个安装命令。现在在你的终端中粘贴这个命令,模型就会被安装。 让我们请求它做一些类似 Groq 测试的事情,这次让它创建一个食物卡路里追踪应用并发送请求。现在它正在生成,稍等一下。完成了,正如你所看到的,它再次请求批准,所以我们再次批准。

    1.5K00编辑于 2024-12-02
  • 来自专栏芯智讯

    AI推理速度提升超10倍,Groq LPU能否取代英伟达GPU?

    芯片上没有分支目标缓冲区或缓存代理,”Groq 的首席架构师 Dennis Abts 解释道。Groq LPU芯片为了追求性能最大化,因此添加了更多SRAM内存和执行块。 也需要305张Groq LPU加速卡才够用。 如果考虑到内存消耗,可能需要572张Groq LPU加速卡。官方数据显示,Groq LPU的平均功耗为185W,即使不计算外围设备的功耗,572张Groq LPU加速卡的总功耗也高达105.8kW。 的性价比也是远高于Groq LPU。 当然,其缺点则在于SRAM的内存容量较小,要运行大模型,就需要更多的Groq LPU。那么,Groq LPU能否进一步提升其SRAM内存容量来弥补这一缺点呢?

    1.4K10编辑于 2024-02-26
  • 来自专栏量子位

    Groq新进展!谷歌TPU原班人马明年发布首款AI芯片

    原作 James Morra 1 编译 Root 量子位 出品 | 公众号 QbitAI 今年4月底,谷歌TPU核心团队的十个人里有8人离职创业,组建了新公司Groq。 近日Groq官网发布消息,打算在2018年发布第一代AI芯片产品。这款芯片对标英伟达的GPU,是专门为人工智能重新定制一款芯片。 ? 而谷歌最新一代的TPU才达到每秒180万亿次运算,Groq芯片的性能将会是谷歌TPU的两倍多。 ? 之前,Groq获得了风险投资家Chamath Palihapitiya上千万美元的启动资金。 芯片工程师团队在Groq面临的研发压力,不亚于在谷歌工作的时候。 不仅在和英伟达、谷歌的数据科学家抢赛道,Groq也在对标英特尔。英特尔上个月刚宣布,打算在年底发布一款专为训练神经网络设计的每秒运算55万亿次的定制处理器。

    85560发布于 2018-03-23
  • 来自专栏每周互选

    DeepSeek API入门及相关代理配置:Groq API与Deno代理的深度解析,助你快速上手!

    Groq API获取使用Groq提供的API来开启DeepSeek-R1-Distill-Llama-70B(一个较大参数蒸馏模型)的使用之旅。 进入Groq官网(https://groq.com/)我们继续点击 Dev Console 进入开发控制台,点击侧边栏中的 API Keys,然后点击 Create API Key 即可创建 API。 在将模型服务切换到 Groq 之后,继续点击 “API 密钥” 选项,然后输入刚刚获取的 API 密钥,这里可以通过点击页面右上角的相应选项来完成操作。 这里以Groq官网右上角显示的模型为准。如果在设置中没有找到所需的模型,您可以直接前往Groq官网,从官网中复制正确的模型名称。这个操作过程非常简单。 如果您身处中国大陆,可能会遇到 Groq 的 API 无法使用的情况,因为 Groq 需要一直保持代理环境。不过别担心,这里就给大家介绍另外一种方法来解决这个问题。

    3.1K20编辑于 2025-02-04
  • 来自专栏新智元

    首席分析师揭秘爆火Groq,每小时要烧168美元!10倍H100拥有成本,老黄笑而不语

    Groq构架解密 Groq的芯片采用了一种无缓冲、完全确定性的超长指令字(VLIW)架构,芯片面积约为725平方毫米,采用Global Foundries的14纳米制程技术。 相比之下,Groq的芯片不需要外部存储器,因此原材料成本要低得多。 作为一家初创公司,Groq在生产芯片时面临的固定成本相对较高,这还包括支付给Marvell的高额定制ASIC服务费用。 没有计入Groq出售硬件时的利润,因此虽然看似是不同的比较基准,但实际上这是一个公平的比较,因为Groq和推理API供应商提供的是相同的产品/模型。 把这些组件的成本加在一起后可以发现,每台Groq LPU服务器的成本为3.5万美元,包括8个Groq LPU和所有上述的硬件。 与之相对,Groq的解决方案每百万Token的成本为1.94美元,比8个H100的配置更经济,也更高效。 和许多提供推理服务的公司一样,Groq目前的运营模式尚未实现盈利。

    36110编辑于 2024-02-26
  • AI芯片厂商Groq完成7.5亿美元融资,投后估值69亿美元

    近日,人工智能(AI)推理芯片企业Groq宣布完成7.5亿美元新一轮融资,投后估值达69亿美元。 Disruptive已向Groq投资近3.5亿美元。 Groq 创始人兼CEO Jonathan Ross是谷歌TPU项目的核心研发人员。 虽然Groq的LPU并没有采用更本高昂的尖端制程工艺,而是选择了14nm制程,但是凭借自研的TSA 架构,Groq LPU 芯片具有高度的并行处理能力,可以同时处理数百万个数据流,并该芯片还集成了230MB 不仅如此,Groq当时还喊话各大公司,扬言在三年内超越英伟达。

    23010编辑于 2026-03-20
  • AI芯片独角兽将获6亿美元融资,估值翻倍!

    若该融资获得成功,将使得 Groq 的估值在短短九个月内翻倍。 Groq 的新一轮融资可能将会由位于美国奥斯汀的风险投资公司Disruptive 领投,该公司已经为该交易投入了超过3亿美元。 不过,Groq发言人解释称,由于其计划安装更多Groq AI芯片的数据中心容量不足,Groq已经将部分收入预测调整到了2026年。 截至目前,Groq 总共筹集了超过 10 亿美元,现在的估值已达 28 亿美元。 虽然Groq的LPU并没有采用更本高昂的尖端制程工艺,而是选择了14nm制程,但是凭借自研的TSA 架构,Groq LPU 芯片具有高度的并行处理能力,可以同时处理数百万个数据流,并该芯片还集成了230MB 此次融资的背景是Groq在2025年5月与加拿大贝尔公司达成的独家合作伙伴关系,旨在为该电信公司提供大型AI基础设施项目。此外,Groq还在今年4月与Meta合作,提供AI基础设施以加速其推理能力。

    28410编辑于 2026-03-19
  • 来自专栏深度学习与python

    Groq CEO:它正在接近免费

    (图片来自网络) 此外,也有 Groq 前员工在 Hacker News 上表示 Groq 理论上的推理成本是不切合实际的。 2 Groq 背后的秘密:架构和编译器 那么,Groq 又是如何做到如此之快呢?据悉,Groq 能做到如此之快背后的秘诀是架构和编译器的创新。 目前,在 Groq 网站上,用户可以随意测试不同的聊天机器人,并查看它们在 Groq LPU 上的运行速度。 感兴趣的朋友可以点击尝试:https://groq.com/ 3 Groq 为何备受关注? 直到 2019 年 10 月,Groq 发布了一篇名为《世界,认识 Groq》的博客,向世界宣告了自己的存在。

    64110编辑于 2024-02-29
  • 200亿美元“反向收购雇佣”?老黄天价应对谷歌TPU压力

    但仅在几小时后,英伟达和Groq双双澄清:并非收购。Groq官方博客写道:“我们与英伟达签订了一份非排他性技术许可协议。” 英伟达方面也明确表态:我们不是在收购Groq这家公司,我们只是获得技术授权,并将Groq的产品整合到未来的产品中。 交易真相Disruptive CEO透露,英伟达已同意以200亿美元现金收购Groq的资产,交易进展非常迅速。 根据协议,Groq创始人兼首席执行官Jonathan Ross、总裁Sunny Madra及其他高管将加入英伟达。 Groq当时刚刚完成7.5亿美元的融资,估值达到约69亿美元。投资方Disruptive的CEO透露,在被英伟达接洽时,Groq其实并没有出售的打算。公司今年的营收目标是5亿美元,正处于高速增长期。

    18510编辑于 2025-12-26
  • 零成本为 OpenClaw 装上“耳朵”与“嘴巴”,一步到位的语音交互指南

    二、配置 Groq STT(语音输入) 2.1 获取 Groq API Key 首先访问 Groq 官网(groq.com)注册账号。 Groq 提供每月 1000 万 token 的免费额度,对于个人使用完全足够。注册完成后,在 Dashboard 中创建 API Key 并复制备用。 2.3 配置 models.providers.groq 下一步是添加 Groq 的 API 配置信息,把 Groq 官网的申请的 API Key 填入下面 apiKey 的引号之中: 2.4 支持的音频格式 Groq Whisper 支持 MP3、MP4、MPEG、M4A、WAV、WEBM、OGG 等多种格式,兼容各平台语音消息。 八、最佳实践 隐私考虑:语音消息会经过第三方服务(Groq、微软),敏感信息建议用文字发送。 成本优化:Groq 免费额度通常够用,Edge TTS 完全免费无额度限制。

    2.2K20编辑于 2026-03-31
  • 来自专栏新智元

    比GPT-4快18倍,世界最快大模型Groq登场!每秒500 token破纪录,自研LPU是英伟达GPU 10倍

    世界最快的大模型Groq一夜之间爆火,能够每秒输出近500个token。如此神速的响应,背后全凭自研的LPU。 一觉醒来,每秒能输出500个token的Groq模型刷屏全网。 地址:https://groq.com/ 与此同时,Groq API也向开发者提供,完全兼容OpenAI API。 Groq模型之所以能够以惊人速度响应,是因为背后公司Groq(同名)开发了独特的硬件——LPU。 并非是,传统的GPU。 Groq首席执行官Jonathan Ross曾表示,「Groq的存在是为了消除「富人和穷人」,并帮助人工智能社区中的每个人发展。 不过,Groq背后的公司并非大模型时代后的新星。 它成立于2016年,并直接注册了Groq这一名字。 CEO兼联合创始人Jonathan Ross在创立Groq之前,曾是谷歌的员工。

    1.3K10编辑于 2024-02-26
  • 来自专栏机器之心

    10倍英伟达GPU:大模型专用芯片一夜成名,来自谷歌TPU创业团队

    这是在 Groq 上运行 Llama 2 的速度: 来源:https://twitter.com/emollick/status/1759633391098732967 这是 Groq(Llama 2) 目前,Groq 的官网提供了试用体验,有这些模型可选: 官网地址:https://groq.com/ Groq 的处理器名为 LPU(语言处理单元),是一种新型的端到端处理单元系统,可以为具备序列组件的计算密集型应用 Groq 还在 LPU 上运行了最新锐的开源模型 Mixtral,模型在不到一秒的时间内回复了包含数百个单词的事实性的、引用的答案(其中四分之三的时间是用来搜索): Groq 放出的 Demo 视频下, Groq 的芯片设计允许将多个 TSP 连接在一起,不会出现 GPU 集群中的传统瓶颈,使其具有极高的可扩展性。 在去年的高性能计算会议 SC23 上,Groq 就展示过在 LPU 上运行 LLM 的全球最佳低延迟性能。

    35510编辑于 2024-02-26
  • AI性能暴增35倍!英伟达发布全新LPU,GPU不再是唯一主角!

    本文将深入解析Groq 3 LPU的技术细节、混合推理架构以及它对AI推理市场的深远影响。 他建议企业客户,若工作负载包含大量高价值的Token生成需求,应将25%的数据中心规模配置给Groq。据悉,由三星代工的Groq LP30芯片已进入量产,预计今年第三季度出货。 公司将256颗Groq 3 LPU集成到一个Groq 3 LPX机架中,提供128GB的片上SRAM和40 PB/s的推理加速带宽。 英伟达的策略是:让Rubin GPU负责预填充阶段,让Groq LPU负责解码阶段。 这意味着,未来你的聊天机器人查询或图像生成请求,可能正由Rubin GPU和Groq LPU协同处理。 四、小结:推理时代的新范式 Groq 3 LPU的发布,标志着英伟达对AI计算的理解进入新阶段。

    50510编辑于 2026-03-19
  • 来自专栏深度学习与python

    英伟达挖空Groq TPU核心人才,逼财务官上位CEO,英特尔18A遭弃

    整理 | 华卫 昨夜,AI 芯片初创企业 Groq 宣布,英伟达将以非独家授权的形式获得其技术授权。 作为一项技术授权协议的一部分,创办 Groq 的前谷歌芯片工程师 Jonathan Ross 以及该初创企业的总裁 Sunny Madra 等多名 Groq 核心员工将加入英伟达。 1挖角核心人才还不够,收走 Groq 最强 “推理技术” “我们计划将 Groq 的低延迟处理器整合到英伟达 AI 工厂架构中,扩展该平台以服务更广泛的 AI 推理及实时工作负载。” 此前,Groq 一度挑战英伟达在 AI 处理器领域的主导地位。这次,Groq 称,其与英伟达的协议 “体现了双方共同的关注点,扩大高性能、低成本推理技术的普及范围”。 截至 2024 年 7 月,Groq 预计年末营收将达 5 亿美元。

    21110编辑于 2025-12-31
领券