- 综合排序
- 最热优先
- 最新优先
- 来自专栏科技云报道
黑马Groq单挑英伟达，AI芯片要变天？
“快”字当头，Groq可谓赚足眼球。Groq还喊话各大公司，扬言在三年内超越英伟达。 事实上，在这一波AI热潮中，“天下苦英伟达久矣”。 英伟达GPU芯片价格一再被炒高，而Groq的LPU架构能“弯道超车”，显然是众望所归。 因此，不少舆论惊呼Groq要颠覆英伟达，也有业内人士认为Groq想要“平替”英伟达还有很长的路要走。 Groq LPU：快字当头 据介绍，Groq的芯片采用14nm制程，搭载了230MB大静态随机存储器（SRAM）以保证内存带宽，片上内存带宽达80TB/s。 因此，Groq公司宣称，其LPU所带来的AI推理计算是革命性的。 在AI推理领域挑战GPU 尽管Groq高调喊话，但想要“平替”英伟达GPU并不容易。 从各方观点来看，Groq的芯片还无法与之分庭抗礼。
43910编辑于 2024-02-26 - 来自专栏芯智讯
Groq CEO控诉：英伟达阻碍公平竞争！
上个月美国人工智能初创公司Groq最新推出的面向云端大模型的推理芯片引发了业内的广泛关注，该芯片采用了全新的Tensor Streaming Architecture (TSA) 架构，以及拥有超高带宽的 这也使得一些客户对于Groq的AI芯片产生的兴趣。 但是，根据最新的报道显示，Groq CEO Jonathan Ross近日在接受采访时控诉英伟达阻碍公平竞争。 此前相关文章：《AI推理速度提升超10倍，Groq LPU能否取代英伟达GPU？》 编辑：芯智讯-林子
24310编辑于 2024-03-06 - 来自专栏AI进修生
ClaudeDev（已升级）：Ollama、Groq全面支持！轻松集成AI工作流
OpenAI 兼容 API 选项将允许你输入任何 OpenAI 兼容的端点并使用它，例如，如果你想使用像 Groq 这样的服务，你只需输入 Groq 的基本 URL、API 密钥、模型名称和其他详细信息 无论如何，现在让我先展示如何通过 OpenAI 兼容 API 选项使用 Groq。Groq 的免费版可以在有限的使用率内免费使用，所以只需在 Groq 注册并获取一个 API 密钥。 在 URL 选项中输入 Groq API 基本 URL，输入你的 API 密钥，之后你需要输入你想使用的模型名称，他们有很多模型，我喜欢使用 Llama 3.1 70b 模型，所以只需像这样输入它。 这样就很酷了，现在你可以免费使用像 Groq 这样的服务，这非常棒。 我将使用 Llama 3.1 18b 模型，所以选择它并复制这个安装命令。现在在你的终端中粘贴这个命令，模型就会被安装。 让我们请求它做一些类似 Groq 测试的事情，这次让它创建一个食物卡路里追踪应用并发送请求。现在它正在生成，稍等一下。完成了，正如你所看到的，它再次请求批准，所以我们再次批准。
1.4K00编辑于 2024-12-02 - 来自专栏芯智讯
AI推理速度提升超10倍，Groq LPU能否取代英伟达GPU？
芯片上没有分支目标缓冲区或缓存代理，”Groq 的首席架构师 Dennis Abts 解释道。Groq LPU芯片为了追求性能最大化，因此添加了更多SRAM内存和执行块。 也需要305张Groq LPU加速卡才够用。 如果考虑到内存消耗，可能需要572张Groq LPU加速卡。官方数据显示，Groq LPU的平均功耗为185W，即使不计算外围设备的功耗，572张Groq LPU加速卡的总功耗也高达105.8kW。 的性价比也是远高于Groq LPU。 当然，其缺点则在于SRAM的内存容量较小，要运行大模型，就需要更多的Groq LPU。那么，Groq LPU能否进一步提升其SRAM内存容量来弥补这一缺点呢？
1.2K10编辑于 2024-02-26 - 来自专栏量子位
Groq新进展！谷歌TPU原班人马明年发布首款AI芯片
原作 James Morra 1 编译 Root 量子位 出品 | 公众号 QbitAI 今年4月底，谷歌TPU核心团队的十个人里有8人离职创业，组建了新公司Groq。 近日Groq官网发布消息，打算在2018年发布第一代AI芯片产品。这款芯片对标英伟达的GPU，是专门为人工智能重新定制一款芯片。 ? 而谷歌最新一代的TPU才达到每秒180万亿次运算，Groq芯片的性能将会是谷歌TPU的两倍多。 ? 之前，Groq获得了风险投资家Chamath Palihapitiya上千万美元的启动资金。 芯片工程师团队在Groq面临的研发压力，不亚于在谷歌工作的时候。 不仅在和英伟达、谷歌的数据科学家抢赛道，Groq也在对标英特尔。英特尔上个月刚宣布，打算在年底发布一款专为训练神经网络设计的每秒运算55万亿次的定制处理器。
83860发布于 2018-03-23 - 来自专栏每周互选
DeepSeek API入门及相关代理配置：Groq API与Deno代理的深度解析，助你快速上手！
Groq API获取使用Groq提供的API来开启DeepSeek-R1-Distill-Llama-70B（一个较大参数蒸馏模型）的使用之旅。 进入Groq官网（https://groq.com/）我们继续点击 Dev Console 进入开发控制台，点击侧边栏中的 API Keys，然后点击 Create API Key 即可创建 API。 在将模型服务切换到 Groq 之后，继续点击 “API 密钥” 选项，然后输入刚刚获取的 API 密钥，这里可以通过点击页面右上角的相应选项来完成操作。 这里以Groq官网右上角显示的模型为准。如果在设置中没有找到所需的模型，您可以直接前往Groq官网，从官网中复制正确的模型名称。这个操作过程非常简单。 如果您身处中国大陆，可能会遇到 Groq 的 API 无法使用的情况，因为 Groq 需要一直保持代理环境。不过别担心，这里就给大家介绍另外一种方法来解决这个问题。
2.7K20编辑于 2025-02-04 - 来自专栏机器之心
10倍英伟达GPU：大模型专用芯片一夜成名，来自谷歌TPU创业团队
这是在 Groq 上运行 Llama 2 的速度： 来源：https://twitter.com/emollick/status/1759633391098732967 这是 Groq（Llama 2） 目前，Groq 的官网提供了试用体验，有这些模型可选： 官网地址：https://groq.com/ Groq 的处理器名为 LPU（语言处理单元），是一种新型的端到端处理单元系统，可以为具备序列组件的计算密集型应用 Groq 还在 LPU 上运行了最新锐的开源模型 Mixtral，模型在不到一秒的时间内回复了包含数百个单词的事实性的、引用的答案（其中四分之三的时间是用来搜索）： Groq 放出的 Demo 视频下， Groq 的芯片设计允许将多个 TSP 连接在一起，不会出现 GPU 集群中的传统瓶颈，使其具有极高的可扩展性。 在去年的高性能计算会议 SC23 上，Groq 就展示过在 LPU 上运行 LLM 的全球最佳低延迟性能。
32610编辑于 2024-02-26 - 来自专栏新智元
比GPT-4快18倍，世界最快大模型Groq登场！每秒500 token破纪录，自研LPU是英伟达GPU 10倍
世界最快的大模型Groq一夜之间爆火，能够每秒输出近500个token。如此神速的响应，背后全凭自研的LPU。 一觉醒来，每秒能输出500个token的Groq模型刷屏全网。 地址：https://groq.com/ 与此同时，Groq API也向开发者提供，完全兼容OpenAI API。 Groq模型之所以能够以惊人速度响应，是因为背后公司Groq（同名）开发了独特的硬件——LPU。 并非是，传统的GPU。 Groq首席执行官Jonathan Ross曾表示，「Groq的存在是为了消除「富人和穷人」，并帮助人工智能社区中的每个人发展。 不过，Groq背后的公司并非大模型时代后的新星。 它成立于2016年，并直接注册了Groq这一名字。 CEO兼联合创始人Jonathan Ross在创立Groq之前，曾是谷歌的员工。
1.1K10编辑于 2024-02-26 - 来自专栏深度学习与python
Groq CEO：它正在接近免费
（图片来自网络） 此外，也有 Groq 前员工在 Hacker News 上表示 Groq 理论上的推理成本是不切合实际的。 2 Groq 背后的秘密：架构和编译器 那么，Groq 又是如何做到如此之快呢？据悉，Groq 能做到如此之快背后的秘诀是架构和编译器的创新。 目前，在 Groq 网站上，用户可以随意测试不同的聊天机器人，并查看它们在 Groq LPU 上的运行速度。 感兴趣的朋友可以点击尝试：https://groq.com/ 3 Groq 为何备受关注？ 直到 2019 年 10 月，Groq 发布了一篇名为《世界，认识 Groq》的博客，向世界宣告了自己的存在。
53110编辑于 2024-02-29 - 来自专栏新智元
首席分析师揭秘爆火Groq，每小时要烧168美元！10倍H100拥有成本，老黄笑而不语
Groq构架解密 Groq的芯片采用了一种无缓冲、完全确定性的超长指令字（VLIW）架构，芯片面积约为725平方毫米，采用Global Foundries的14纳米制程技术。 相比之下，Groq的芯片不需要外部存储器，因此原材料成本要低得多。 作为一家初创公司，Groq在生产芯片时面临的固定成本相对较高，这还包括支付给Marvell的高额定制ASIC服务费用。 没有计入Groq出售硬件时的利润，因此虽然看似是不同的比较基准，但实际上这是一个公平的比较，因为Groq和推理API供应商提供的是相同的产品/模型。 把这些组件的成本加在一起后可以发现，每台Groq LPU服务器的成本为3.5万美元，包括8个Groq LPU和所有上述的硬件。 与之相对，Groq的解决方案每百万Token的成本为1.94美元，比8个H100的配置更经济，也更高效。 和许多提供推理服务的公司一样，Groq目前的运营模式尚未实现盈利。
31110编辑于 2024-02-26 200亿美元“反向收购雇佣”？老黄天价应对谷歌TPU压力
但仅在几小时后，英伟达和Groq双双澄清：并非收购。Groq官方博客写道：“我们与英伟达签订了一份非排他性技术许可协议。” 英伟达方面也明确表态：我们不是在收购Groq这家公司，我们只是获得技术授权，并将Groq的产品整合到未来的产品中。 交易真相Disruptive CEO透露，英伟达已同意以200亿美元现金收购Groq的资产，交易进展非常迅速。 根据协议，Groq创始人兼首席执行官Jonathan Ross、总裁Sunny Madra及其他高管将加入英伟达。 Groq当时刚刚完成7.5亿美元的融资，估值达到约69亿美元。投资方Disruptive的CEO透露，在被英伟达接洽时，Groq其实并没有出售的打算。公司今年的营收目标是5亿美元，正处于高速增长期。
14310编辑于 2025-12-26- 来自专栏深度学习与python
英伟达挖空Groq TPU核心人才，逼财务官上位CEO，英特尔18A遭弃
整理 | 华卫 昨夜，AI 芯片初创企业 Groq 宣布，英伟达将以非独家授权的形式获得其技术授权。 作为一项技术授权协议的一部分，创办 Groq 的前谷歌芯片工程师 Jonathan Ross 以及该初创企业的总裁 Sunny Madra 等多名 Groq 核心员工将加入英伟达。 1挖角核心人才还不够，收走 Groq 最强 “推理技术” “我们计划将 Groq 的低延迟处理器整合到英伟达 AI 工厂架构中，扩展该平台以服务更广泛的 AI 推理及实时工作负载。” 此前，Groq 一度挑战英伟达在 AI 处理器领域的主导地位。这次，Groq 称，其与英伟达的协议 “体现了双方共同的关注点，扩大高性能、低成本推理技术的普及范围”。 截至 2024 年 7 月，Groq 预计年末营收将达 5 亿美元。
18510编辑于 2025-12-31 - 来自专栏GPUS开发者
英伟达200亿美元天价锁定Groq核心资产：LPU芯片为何让黄仁勋势在必得？
2025年末，科技圈迎来一桩震动行业的重磅交易——芯片巨头英伟达宣布以200亿美元现金拿下AI初创公司Groq的核心资产，这一金额创下英伟达成立以来的收购纪录。 不同于常规的整体收购，英伟达此次重点锁定了Groq的核心AI推理技术知识产权与关键人才，而Groq的云服务业务则保留独立运营。让英伟达甘愿砸下重金的核心，正是Groq独创的LPU（语言处理单元）芯片。 黄仁勋在内部邮件中明确表示，将把Groq的低延迟处理器整合进英伟达AI工厂架构，覆盖更广泛的AI推理和实时工作负载。 消除潜在威胁，釜底抽薪阻断竞争对手 Groq曾被视为英伟达的“潜在颠覆者”。 随着AI企业对英伟达GPU的依赖加剧，越来越多的厂商在寻找替代方案，Groq的LPU凭借极致的推理速度，成为许多二线云厂商和AI软件公司的重要选择。如果任由Groq发展，可能会打破英伟达的算力垄断。
43710编辑于 2026-01-05 - 来自专栏量子位
谷歌TPU早期团队成员批量离职创业，要再造下一代芯片
他们的新公司（目前）名叫Groq，没有宣传资料，只在监管机构的文件中留下了一些痕迹。 外国记者说它没有网站，我们搜了一下，好像有，长这样： ? SEC文件还列出了Groq的三位主要成员：谷歌TPU团队的Jonathan Ross、Google X 前工程师Douglas Wightman、风投公司Social Capital创始人Chamath 不过，Groq的阵容可能远比SEC文件显示得豪华，Palihapitiya向CNBC透露，谷歌TPU团队最早期的10名成员，现在有8人在这家公司。 和TPU那篇论文的作者人数相比，8人也并不多。 他还在写给CNBC的邮件中说：“我们为Groq而兴奋，现在谈细节还为时过早，不过我认为，他们正在建造的东西会成为下一代计算的基础部件。”
74030发布于 2018-03-30 - 来自专栏程序小小事
爆：GitHub Copilot支持包括Anthropic、Azure、Google Gemini、Groq、OpenAI 和 OpenRouter等供应商AP
支持的提供商包括 Anthropic、Azure、Google Gemini、Groq、OpenAI 和 OpenRouter。
44510编辑于 2025-09-12 - 来自专栏AI进修生
使用Llama3.1 (405B & 8B) 创建编码助手代替Github Copilot（本地、免费&快速）
介绍两种办法：Ollama、Groq。 我们使用Continue这个开源编码助手。 先下载插件 点击插件，就可以看到它支持Ollama和Groq等等LLM厂商 我们知道Groq提供免费且快速的api接口，且支持不少开源模型， 但是有些速率限制 到Groq官网这来创建一个API key API Key粘贴到这 点击设置， 点击更改模型为：llama-3.1-70b-versatile（Groq的405B还用不了目前） 然后就可以聊天了 然后它下面还有代码补全模型的配置，我们使用Ollama
31210编辑于 2024-12-02 - 来自专栏AI进修生
g1：o1推理链开源实现，原理竟如此简单！解决 60-80% 的困扰LLM的简单逻辑问题
它是建立在免费模型groq上的，使用Gradio UI、Streamlit UI做交互。 其实从本质上来看，这个项目核心是使用这个提示词达到思维链的效果其他的都只是Groq模型调用和UI对话的实现。 Groq 模型（如llama-3.1-70b-versatile）+ 动态思维链提示词 + 使用Gradio UI、Streamlit UI做交互。 重点是提示词 ... 原始的groq 70B ：https://groq.com/ 错了： 但是g1答对了： ▲ 我在g1基础上改进的提示词效果（最新Prompt放在文末） 为什么我爸妈结婚的时候没有邀请我？ ="gsk..." groq API：https://console.groq.com/keys g1提示词改进与Ollama支持 我的仓库中有g1的提示词修改版本，以及对ollama的支持： https ://github.com/Ai-trainee/o1-flow 总的来说，groq与动态思维链结合的好处是一方面提高本身模型的推理精准度一方面groq提供几乎全球最快的api响应速度，这一点就弥补了思维链处理起来时间太久的问题
35210编辑于 2024-12-02 - 来自专栏JadePeng的技术博客
PhiData 一款开发AI搜索、agents智能体和工作流应用的AI框架
openai duckduckgo-search export OPENAI_API_KEY=sk-xxxx python assistant.py 当然，如果没有openai的api，可以去免费申请Groq ，然后LLM设置为groq： from phi.llm.groq import Groq assistant = Assistant( llm=Groq(model="mixtral-8x7b Investment Researcher: 投资研究员 利用Llama3和Groq生成关于股票的投资报告. News Articles: 使用Llama3和Groq撰写新闻文章。 Video Summaries: 使用Llama3和Groq生成YouTube视频的摘要。 Research Assistant: 利用Llama3和Groq帮助研究人员编写研究报告。 我们简单修改，支持groq。 左边支持选择模型，选择Tools与Assistant。我们来一探究竟，这里的tools与Assistant是如何协作的。
3.5K11编辑于 2024-05-25 - 来自专栏新智元
揭开Groq LPU神秘面纱：世界最快硬件加速器的底层架构设计！
上月底，创业公司Groq的产品一夜爆火。 Groq的研发团队在LPU上应用了创新的硬件架构设计，并配套了强大的编译器。 下面让我们跟随Substack的专栏作家Abhinav Upadhyay一起，一步步揭开Groq LPU底层架构的神秘面纱。 Groq LPU的神秘面纱 到目前为止，Groq并没有给出任何关于LPU本身的论文，但在过去几年中，他们发表了下面两篇论文： 论文地址：https://dl.acm.org/doi/10.1109/ISCA45697.2020.00023 参考资料： https://codeconfessions.substack.com/p/groq-lpu-design
75310编辑于 2024-03-13 - 来自专栏技术专家成长之路
超越CPU和GPU：引领AI进化的LPU
因此，Groq公司开发了LPU推理引擎，这是一个端到端的推理加速系统，旨在以简洁的设计提供卓越的性能、效率和精确度。 Groq是一家由Jonathan Ross在2016年创立的创新型技术公司。 他坚信，芯片设计的未来应该从软件定义网络（SDN）中汲取灵感，这也是他创建Groq的初衷。 LPU和GPU性能对比 LPU推理引擎是世界上第一款专为推理性能和精度而设计的语言处理单元推理引擎。 Groq公司的愿景是设定一个新的AI体验标准：在能源效率的包装中，以低延迟和实时交付带来惊艳的推理。 LPU推理引擎的设计目的是为了克服LLM（大型语言模型）的两大瓶颈——计算量和内存带宽。 下图是Groq（Llama 2 70B）和 ChatGPT 面对同一个提示词的表现： LPU推理引擎的性能表现出色，能够每秒超过300个token的Llama-2 70B，碾压GPT-4的每秒40个token LPU推理引擎具有以下特性： 出色的顺序性能 单核架构 即使在大规模部署中也能保持同步网络 能够自动编译超过500亿的LLMs 瞬时内存访问 即使在较低精度级别也能保持高准确性 总的来说，LPU是Groq
1.7K10编辑于 2024-03-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号