- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器之心
最强NLP预训练模型！谷歌BERT横扫11项NLP任务记录
BERT 是首个在大批句子层面和 token 层面任务中取得当前最优性能的基于微调的表征模型，其性能超越许多使用任务特定架构的系统，刷新了 11 项 NLP 任务的当前最优性能记录。 近日，谷歌 AI 的一篇NLP论文引起了社区极大的关注与讨论，被认为是 NLP 领域的极大突破。如谷歌大脑研究科学家 Thang Luong Twitter 表示这是 NLP 领域的新时代。 ? 这篇刷新了 11 项 NLP 任务的论文不久之前已经上线，让我们一睹为快： 研究证明语言模型预训练可以有效改进许多自然语言处理任务，包括自然语言推断、复述（paraphrasing）等句子层面的任务，以及命名实体识别 BERT 是首个在大批句子层面和 token 层面任务中取得当前最优性能的基于微调的表征模型，其性能超越许多使用任务特定架构的系统。 BERT 刷新了 11 项 NLP 任务的当前最优性能记录。 实验 这部分，我们将展示 BERT 在 11 个 NLP 任务上的微调结果。 ? 图 3：我们的任务特定模型是由向 BERT 添加了一个额外的输出层而形成的，因此一小部分参数需要从头开始学习。
1.5K40发布于 2018-10-22 - 来自专栏进击的Coder
最强 NLP 预训练模型！谷歌 BERT 横扫 11 项 NLP 任务记录！
BERT 是首个在大批句子层面和 token 层面任务中取得当前最优性能的基于微调的表征模型，其性能超越许多使用任务特定架构的系统，刷新了 11 项 NLP 任务的当前最优性能记录。 近日，谷歌 AI 的一篇 NLP 论文引起了社区极大的关注与讨论，被认为是 NLP 领域的极大突破。如谷歌大脑研究科学家 Thang Luong Twitter 表示这是 NLP 领域的新时代。 ? 这篇刷新了 11 项 NLP 任务的论文不久之前已经上线，让我们一睹为快： 研究证明语言模型预训练可以有效改进许多自然语言处理任务，包括自然语言推断、复述（paraphrasing）等句子层面的任务， BERT 是首个在大批句子层面和 token 层面任务中取得当前最优性能的基于微调的表征模型，其性能超越许多使用任务特定架构的系统。 BERT 刷新了 11 项 NLP 任务的当前最优性能记录。 实验 这部分，我们将展示 BERT 在 11 个 NLP 任务上的微调结果。 ? 图 3：我们的任务特定模型是由向 BERT 添加了一个额外的输出层而形成的，因此一小部分参数需要从头开始学习。
1K20发布于 2018-10-23 - 来自专栏新智元
谷歌BERT模型狂破11项纪录，全面超越人类！
谷歌AI团队新发布的BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩。 谷歌AI团队新发布的BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类！ 谷歌团队的Thang Luong直接定义：BERT模型开启了NLP的新时代！ 本文从论文解读、BERT模型的成绩以及业界的评价三方面做介绍。 硬核阅读：认识BERT的新语言表示模型 首先来看下谷歌AI团队做的这篇论文。 BERT是第一个基于微调的表示模型，它在大量的句子级和token级任务上实现了最先进的性能，强于许多面向特定任务体系架构的系统。 BERT刷新了11项NLP任务的性能记录。
1.5K40发布于 2018-10-24 - 来自专栏机器之心
刚刚，谷歌发布基础世界模型：11B参数，能生成可交互虚拟世界
Sora 问世才不到两个星期，谷歌的世界模型也来了，能力看起来更强大：它生成的虚拟世界「自主可控」。 在这个假设基础上，谷歌针对机器人视频训练了一个 Genie 模型，作为机器人领域潜在世界模型应用的概念验证。 因此，谷歌在所有模型组件中采用内存高效的 ST-transformer 架构（见图 4），以此平衡模型容量与计算约束。 Genie 的推理过程如下所示 实验结果 扩展结果 为了研究模型的扩展行为，谷歌对参数量为 2.7B 到 41M 的模型进行了实验来探讨模型大小和批大小的影响，实验结果如下图 9 所示。 定性结果 谷歌展示了在 Platformers 数据集上训练的 Genie 11B 参数模型和在 Robotics 数据集上训练的较小模型的定性实验结果。
38310编辑于 2024-02-27 - 来自专栏一个正经的测试
谷歌发布基础世界模型！11B参数，能生成可交互虚拟世界
pli=1 于是，你决定学习一下这个事情——谷歌发布基础世界模型！ 11B参数，能生成可交互虚拟世界 前言 谷歌定义了生成式 AI 的全新范式 —— 生成式交互环境（Genie，Generative Interactive Environments）。 pli=1 这篇来自 Google DeepMind 的论文介绍了一个 11B 基础世界名为 Genie 的模型，根据 2d 平台游戏的未标记互联网视频进行训练。 这表明 Genie 能够学习一致的动作空间，这可能适合训练具体的多面手智能体 再次，谷歌认为 Genie 是实现通用智能体的基石之作。 谷歌提出一个概念证明，即 Genie 学到的潜在动作可以转移到真实的人类设计的环境中。 最后，谷歌表示，Genie 是一种通用方法，可以应用于多个领域，而不需要任何额外的领域知识。
62020编辑于 2024-02-27 谷歌transformer模型简单介绍
谷歌的Transformer模型（2017年提出）是一种基于自注意力机制的神经网络架构，取代了传统的RNN和CNN，能并行处理序列数据。 该模型成为BERT、GPT等现代NLP技术的基础，并扩展至多模态领域。 RNN: 循环神经网络，Recurrent Neural NetworkCNN: 卷积神经网络，Convolutional Neural NetworkBERT: 谷歌2018年提出的预训练语言模型 实际应用中需扩展解码器、添加掩码机制和训练循环才能构建完整模型。 实际应用中需扩展解码器、添加掩码机制和训练循环才能构建完整模型。
1.1K10编辑于 2025-07-04- 来自专栏ClearSeve
C++11内存模型
最近看了极客时间——《现代C++实战三十讲》中的内存模型与Atomic一节，感觉对C++的内存模型理解还不是很清楚，看了后面的参考文献以及看了一些好的博客，算是基本了解了，根据参考文献整合一下。 Thread-1: Thread-2: x = 100; // A std::cout << x; // B C++11 C++11的内存模型共有6种，分四类。其中一致性的减弱会伴随着性能的增强。 参考链接 【1】C++11中的内存模型上篇 – 内存模型基础 【2】C++11中的内存模型下篇 – C++11支持的几种内存模型 【3】理解 C++ 的 Memory Order 【4】如何理解 C++ 11 的六种 memory order 【5】《现代C++实战三十讲》中的内存模型与Atomic
1K30编辑于 2022-02-11 谷歌AI模型解码海豚通信
这个约4亿参数的模型经过优化，可直接在WDP野外使用的Pixel手机上运行。该模型基于Gemma系列的见解，并在WDP的声学数据库上进行了广泛训练。 DolphinGemma作为一个音频输入、音频输出的模型，处理自然海豚声音序列以识别模式和结构，最终预测序列中接下来可能出现的声音，类似于人类语言大语言模型预测句子中的下一个词。 下一代以Pixel 9为中心，通过集成扬声器/麦克风功能，并使用手机的高级处理同时运行深度学习模型和模板匹配算法。 与研究社区共享DolphinGemma计划在今年夏天将DolphinGemma作为开放模型共享。 虽然该模型是在大西洋斑海豚声音上训练的，但预计它对研究其他鲸类物种（如宽吻海豚或长吻飞旋海豚）的研究人员也有用。针对不同物种的发声可能需要进行微调，而模型的开放性有助于这种适应。FINISHED
9410编辑于 2026-04-07- 来自专栏DeepHub IMBA
谷歌新语言模型Switch Transformer
Switch Transformer发布前，谷歌的T5模型一直是多个NLP基准上的记录保持者，但是最近被它自己的Switch Transformer超越。 并非所有的知识一直都是有用的。 在项目总结时这种观察在某种程度上是显而易见的，根据这个观点，谷歌大脑创建了新的Switch Transformer 。 Switch Transformer因其一万亿参数而得到媒体的报道。 对于谷歌的公司规模，这一成就并不难预料;主要的基础模块(Tensorflow, Mesh, Tensorflow, TPUs)已经存在了一段时间。 复制FFN权重而不是模型的其他参数(如自我注意中的键/查询/值矩阵)的决定似乎是实验性的。作者论文说，他们试图在模型的其他部分增加专家，结果导致训练不稳定。 模型如何决定启用哪位专家? 例如，Switch-Base模型在缩短约7倍的时间内即可达到完全融合的T5-Base模型的LM性能。
1.2K20发布于 2021-02-12 - 来自专栏大数据文摘
因为这个模型，谷歌要完？
直到这几天，一个重磅看似与搜索无关的AI模型的诞生，却大有撼动谷歌搜索地位的趋势... 这是一个在Twitter上特别火的帖子，目前已获得3千多次转推： Google is done. 谷歌时代结束了。 这条Twitter的博主搜索了一些它日常请教谷歌的问题（query），却发现OpenAI刚刚发布的“AI对话模型ChatGPT”的回答，完爆了谷歌搜索结果。。。 ChatGPT模型Demo测试地址： https://chat.openai.com/chat 推特用户@jdjkelly的推文 [1] 还表示，它发现对于代码开发类的搜索query，ChatGPT的回答强势的完爆了谷歌 这篇文章的作者将预训练大模型类比为人脑和传统的数据库，都是数据储存的一个媒介。而在进行数据检索的时候，人脑依靠的是思考，数据库依靠的是 SQL 语言，而预训练大模型则依靠的是 prompt。 短短2个月前学界还在质疑 prompt 是否能够完全达到“所查即所得”的效果，也就是说，下游任务并不知道使用何种 prompt 可以更好地从大模型中获取想要的结果。
40620编辑于 2023-04-10 - 来自专栏云云众生s
谷歌Gemini语言模型入门指南
本文向您介绍两种访问谷歌Gemini语言模型的途径:Vertex AI和Google AI Studio，并详细阐述每种方法的使用入门指南。 在我之前的文章中，我介绍了谷歌的多模态生成 AI 模型 Gemini 的关键功能。在这篇文章中，我将带领大家了解如何访问这个模型。 通过 Google AI Studio 访问 Gemini Google AI Studio 是一个探索谷歌提供的生成式 AI 模型的游乐场。任何拥有谷歌账户的人都可以登录进行模型实验。 GenerativeModel("gemini-pro") print(len(prompt)) # 43 print(model.count_tokens(prompt)) # total_tokens: 11 _raw_response.usage_metadata) # prompt_token_count: 11 # candidates_token_count: 129 # total_token_count
1.8K10编辑于 2024-03-28 - 来自专栏LINUX阅码场
深入理解C11C++11内存模型
个人认为，内存模型表达为“内存顺序模型”可能更加贴切一点。 2011年发布的C11/C++11 ISO Standard为我们带来了memory order的支持， 引用C++11里的一段描述： The memory model means that C++ code C11/C++11使用memory order来描述memory model， 而用来联系memory order的是atomic变量， atomic操作可以用load()和release()语义来描述 C11/C++11内存模型 C/C++11标准中提供了6种memory order，来描述内存模型[6]: enum memory_order { memory_order_relaxed, - Frank Birbacher [ACCU 2017] C++11中的内存模型下篇 - C++11支持的几种内存模型 memory ordering, Gavin's blog c++11 内存模型解读
2.9K30发布于 2020-06-04 - 来自专栏云云众生s
Go中使用谷歌Gemini模型
这篇文章是如何使用 Go SDK 快速入门，以向模型提出混合文本和图像的问题的概述。 译自 Using Gemini models from Go。作者 Eli Bendersky 。 任务 我们将要求模型解释两张龟的图像之间的区别，这张： 和这张： 使用 Google AI SDK 使用 Google AI SDK，您只需生成一个 API 密钥（与 OpenAI 的 API 类似）即可访问模型 当我们运行此示例时，模型的响应会以 JSON 对象的形式输出。
65810编辑于 2024-03-28 - 来自专栏Java面试教程
谷歌大模型-Gemini快速开始
引言 近期相信大家和了不起一样，都听说了谷歌大模型：Gemini Gemini官网 访问官方网站 官网地址：https://ai.google.dev 官方已经提供了体验入口，大家可以很方便地体验谷歌发布的最大且能力最强的 在右侧列的模型字段中，选择支持图像的模型，例如 Gemini Pro Vision 模型。 第 3 步 - 用模型参数进行实验 在对提示进行原型设计时，您还可以在应用右侧试用模型运行设置。以下是需要了解的关键设置： 模型 - 选择您要回答问题的模型。 如需详细了解可用的模型和功能，请参阅模型。 温度 - 控制模型响应可以允许多大程度的随机性。提高此值可让模型生成更意外且更具创造性的响应。 最大输出 - 增加模型为每个请求返回的响应数。 总结 今天了不起带大家看了下谷歌大模型Gemini，有条件的可以试一下。 参考：https://ai.google.dev/tutorials/ai-studio_quickstart
8.3K11编辑于 2023-12-20 - 来自专栏新智元
解读谷歌最强NLP模型BERT：模型、数据和训练
---- 新智元专栏 作者：潘晟锋（追一科技算法高级研究员） 【新智元导读】近日，谷歌AI团队新发布的BERT模型，在NLP业内引起巨大反响，认为是NLP领域里程碑式的进步。 最近谷歌研究人员通过新的BERT模型在11项NLP任务中夺得STOA结果，这在自然语言处理学界以及工业界都引起了不小的热议。 而谷歌提出的BERT就是在OpenAI的GPT的基础上对预训练的目标进行了修改，并用更大的模型以及更多的数据去进行预训练，从而得到了目前为止最好的效果。 除了模型结构，模型大小和数据量都很重要 以上的描述涵盖了BERT在模型结构和训练目标上的主要创新点，而BERT的成功还有一个很大的原因来自于模型的体量以及训练的数据量。 谷歌用了16个自己的TPU集群（一共64块TPU）来训练大号版本的BERT，一共花了4天的时间。
1.2K20发布于 2018-11-08 - 来自专栏图与推荐
CS224W-11 成就了谷歌的PageRank
众所周知(并不是)，谷歌最早是依靠搜索引擎起家的，而PageRank作为一种网页排序算法为谷歌的发展立下了汗马功劳。可以说，没有PageRank就没有今天的谷歌。
1K10发布于 2020-05-08 - 来自专栏AI研习社
博客 | 谷歌最强 NLP 模型 BERT 解读
雷锋网 AI 科技评论按：本文是追一科技潘晟锋基于谷歌论文为 AI 科技评论提供的解读稿件。 最近谷歌研究人员通过新的BERT模型在11项NLP任务中夺得STOA结果，这在自然语言处理学界以及工业界都引起了不小的热议。 而谷歌提出的BERT就是在OpenAI的GPT的基础上对预训练的目标进行了修改，并用更大的模型以及更多的数据去进行预训练，从而得到了目前为止最好的效果。 ? 除了模型结构，模型大小和数据量都很重要 以上的描述涵盖了BERT在模型结构和训练目标上的主要创新点，而BERT的成功还有一个很大的原因来自于模型的体量以及训练的数据量。 谷歌用了16个自己的TPU集群（一共64块TPU）来训练大号版本的BERT，一共花了4天的时间。
65020发布于 2018-12-05 - 来自专栏机器学习与推荐算法
谷歌 | 物品-语言大模型推荐系统
TLDR: 当前将大语言模型用于推荐系统存在三方面问题：1）大语言模型不在推荐系统数据上训练，并且推荐数据通常不公开可用。 为解决以上限制，本文提出了一个物品语言模型，其由一个物品编码器和一个冻结的大语言模型组成，前者对用户交互信息进行编码以生成与文本对齐后的物品表示，后者用保留的预训练知识理解这些物品表示。 虽然可以使用矩阵分解算法计算物品和用户协同过滤嵌入，然后通过映射模块将这些嵌入馈送给大语言模型。但其会在协同嵌入和预训练大语言模型的词元嵌入间引入模态差异，仍需微调以对齐。 为了解决上述困难，本文提出了用于会话推荐任务的物品语言模型。 其语义嵌入采用Sentence-T5 11B模型计算得到。将带有两层MLP的CoLLM作为基准对比方法，还对比了带有随机初始化Q-Former编码器的ILM模型。
69410编辑于 2024-07-05 - 来自专栏AI科技评论
学界 | 谷歌最强 NLP 模型 BERT 解读
AI 科技评论按：本文是追一科技潘晟锋基于谷歌论文为 AI 科技评论提供的解读稿件。 最近谷歌研究人员通过新的BERT模型在11项NLP任务中夺得STOA结果，这在自然语言处理学界以及工业界都引起了不小的热议。 而谷歌提出的BERT就是在OpenAI的GPT的基础上对预训练的目标进行了修改，并用更大的模型以及更多的数据去进行预训练，从而得到了目前为止最好的效果。 ? 除了模型结构，模型大小和数据量都很重要 以上的描述涵盖了BERT在模型结构和训练目标上的主要创新点，而BERT的成功还有一个很大的原因来自于模型的体量以及训练的数据量。 谷歌用了16个自己的TPU集群（一共64块TPU）来训练大号版本的BERT，一共花了4天的时间。
87120发布于 2018-11-08 - 来自专栏人工智能快报
谷歌推出通用机器学习模型
据外媒报道，谷歌的研究人员已经运用多种类型的训练数据创立了他们所谓的“一个模型解决所有问题”，以此在不同的任务中训练人工智能模型。 研究人员和专注于人工智能的谷歌大脑团队已将该模型与其它工具及模块化组件打包在其新的Tensor2Tensor（T2T）程序库中，他们希望该程序库将帮助促进深度学习研究。 谷歌公司所创建的模型在各种各样的任务中都得到了训练，包括图像识别、翻译任务、图像说明以及语音识别。 研究人员声称，单一模型能够同时在多项领域中学习很多任务，且该模型能够传递知识。 由谷歌大脑研究人员和工程师共同维护的T2T程序库，是一个用于在TensorFlow上训练深度学习模型的一套开源系统。 T2T的发布也包括谷歌大脑研究人员从近期论文中借鉴的数据集库和模型库。
1.2K30发布于 2018-03-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号