- 综合排序
- 最热优先
- 最新优先
谷歌transformer模型简单介绍
谷歌的Transformer模型（2017年提出）是一种基于自注意力机制的神经网络架构，取代了传统的RNN和CNN，能并行处理序列数据。 该模型成为BERT、GPT等现代NLP技术的基础，并扩展至多模态领域。 RNN: 循环神经网络，Recurrent Neural NetworkCNN: 卷积神经网络，Convolutional Neural NetworkBERT: 谷歌2018年提出的预训练语言模型 实际应用中需扩展解码器、添加掩码机制和训练循环才能构建完整模型。 实际应用中需扩展解码器、添加掩码机制和训练循环才能构建完整模型。
1K10编辑于 2025-07-04- 来自专栏DeepHub IMBA
谷歌新语言模型Switch Transformer
Switch Transformer发布前，谷歌的T5模型一直是多个NLP基准上的记录保持者，但是最近被它自己的Switch Transformer超越。 并非所有的知识一直都是有用的。 在项目总结时这种观察在某种程度上是显而易见的，根据这个观点，谷歌大脑创建了新的Switch Transformer 。 Switch Transformer因其一万亿参数而得到媒体的报道。 对于谷歌的公司规模，这一成就并不难预料;主要的基础模块(Tensorflow, Mesh, Tensorflow, TPUs)已经存在了一段时间。 复制FFN权重而不是模型的其他参数(如自我注意中的键/查询/值矩阵)的决定似乎是实验性的。作者论文说，他们试图在模型的其他部分增加专家，结果导致训练不稳定。 模型如何决定启用哪位专家? 例如，Switch-Base模型在缩短约7倍的时间内即可达到完全融合的T5-Base模型的LM性能。
1.2K20发布于 2021-02-12 - 来自专栏大数据文摘
因为这个模型，谷歌要完？
直到这几天，一个重磅看似与搜索无关的AI模型的诞生，却大有撼动谷歌搜索地位的趋势... 这是一个在Twitter上特别火的帖子，目前已获得3千多次转推： Google is done. 谷歌时代结束了。 这条Twitter的博主搜索了一些它日常请教谷歌的问题（query），却发现OpenAI刚刚发布的“AI对话模型ChatGPT”的回答，完爆了谷歌搜索结果。。。 ChatGPT模型Demo测试地址： https://chat.openai.com/chat 推特用户@jdjkelly的推文 [1] 还表示，它发现对于代码开发类的搜索query，ChatGPT的回答强势的完爆了谷歌 这篇文章的作者将预训练大模型类比为人脑和传统的数据库，都是数据储存的一个媒介。而在进行数据检索的时候，人脑依靠的是思考，数据库依靠的是 SQL 语言，而预训练大模型则依靠的是 prompt。 短短2个月前学界还在质疑 prompt 是否能够完全达到“所查即所得”的效果，也就是说，下游任务并不知道使用何种 prompt 可以更好地从大模型中获取想要的结果。
39620编辑于 2023-04-10 - 来自专栏云云众生s
谷歌Gemini语言模型入门指南
本文向您介绍两种访问谷歌Gemini语言模型的途径:Vertex AI和Google AI Studio，并详细阐述每种方法的使用入门指南。 在我之前的文章中，我介绍了谷歌的多模态生成 AI 模型 Gemini 的关键功能。在这篇文章中，我将带领大家了解如何访问这个模型。 $ gcloud init $ gcloud auth application-default login 您会看到浏览器窗口弹出，要求您的谷歌凭据来完成认证过程。 通过 Google AI Studio 访问 Gemini Google AI Studio 是一个探索谷歌提供的生成式 AI 模型的游乐场。任何拥有谷歌账户的人都可以登录进行模型实验。 print(response.text) 计算令牌数以估计成本 根据谷歌的说法，文本输入的费用是根据输入(提示 prompt)的每个 1，000 个字符和输出(响应 response)的每个 1，000
1.7K10编辑于 2024-03-28 - 来自专栏云云众生s
Go中使用谷歌Gemini模型
这篇文章是如何使用 Go SDK 快速入门，以向模型提出混合文本和图像的问题的概述。 译自 Using Gemini models from Go。作者 Eli Bendersky 。 任务 我们将要求模型解释两张龟的图像之间的区别，这张： 和这张： 使用 Google AI SDK 使用 Google AI SDK，您只需生成一个 API 密钥（与 OpenAI 的 API 类似）即可访问模型 当我们运行此示例时，模型的响应会以 JSON 对象的形式输出。
62910编辑于 2024-03-28 - 来自专栏Java面试教程
谷歌大模型-Gemini快速开始
引言 近期相信大家和了不起一样，都听说了谷歌大模型：Gemini Gemini官网 访问官方网站 官网地址：https://ai.google.dev 官方已经提供了体验入口，大家可以很方便地体验谷歌发布的最大且能力最强的 在右侧列的模型字段中，选择支持图像的模型，例如 Gemini Pro Vision 模型。 第 3 步 - 用模型参数进行实验 在对提示进行原型设计时，您还可以在应用右侧试用模型运行设置。以下是需要了解的关键设置： 模型 - 选择您要回答问题的模型。 如需详细了解可用的模型和功能，请参阅模型。 温度 - 控制模型响应可以允许多大程度的随机性。提高此值可让模型生成更意外且更具创造性的响应。 最大输出 - 增加模型为每个请求返回的响应数。 总结 今天了不起带大家看了下谷歌大模型Gemini，有条件的可以试一下。 参考：https://ai.google.dev/tutorials/ai-studio_quickstart
8.1K11编辑于 2023-12-20 - 来自专栏新智元
解读谷歌最强NLP模型BERT：模型、数据和训练
---- 新智元专栏 作者：潘晟锋（追一科技算法高级研究员） 【新智元导读】近日，谷歌AI团队新发布的BERT模型，在NLP业内引起巨大反响，认为是NLP领域里程碑式的进步。 最近谷歌研究人员通过新的BERT模型在11项NLP任务中夺得STOA结果，这在自然语言处理学界以及工业界都引起了不小的热议。 而谷歌提出的BERT就是在OpenAI的GPT的基础上对预训练的目标进行了修改，并用更大的模型以及更多的数据去进行预训练，从而得到了目前为止最好的效果。 除了模型结构，模型大小和数据量都很重要 以上的描述涵盖了BERT在模型结构和训练目标上的主要创新点，而BERT的成功还有一个很大的原因来自于模型的体量以及训练的数据量。 谷歌用了16个自己的TPU集群（一共64块TPU）来训练大号版本的BERT，一共花了4天的时间。
1.2K20发布于 2018-11-08 - 来自专栏AI研习社
博客 | 谷歌最强 NLP 模型 BERT 解读
雷锋网 AI 科技评论按：本文是追一科技潘晟锋基于谷歌论文为 AI 科技评论提供的解读稿件。 最近谷歌研究人员通过新的BERT模型在11项NLP任务中夺得STOA结果，这在自然语言处理学界以及工业界都引起了不小的热议。 而谷歌提出的BERT就是在OpenAI的GPT的基础上对预训练的目标进行了修改，并用更大的模型以及更多的数据去进行预训练，从而得到了目前为止最好的效果。 ? 除了模型结构，模型大小和数据量都很重要 以上的描述涵盖了BERT在模型结构和训练目标上的主要创新点，而BERT的成功还有一个很大的原因来自于模型的体量以及训练的数据量。 谷歌用了16个自己的TPU集群（一共64块TPU）来训练大号版本的BERT，一共花了4天的时间。
64820发布于 2018-12-05 - 来自专栏机器学习与推荐算法
谷歌 | 物品-语言大模型推荐系统
TLDR: 当前将大语言模型用于推荐系统存在三方面问题：1）大语言模型不在推荐系统数据上训练，并且推荐数据通常不公开可用。 为解决以上限制，本文提出了一个物品语言模型，其由一个物品编码器和一个冻结的大语言模型组成，前者对用户交互信息进行编码以生成与文本对齐后的物品表示，后者用保留的预训练知识理解这些物品表示。 虽然可以使用矩阵分解算法计算物品和用户协同过滤嵌入，然后通过映射模块将这些嵌入馈送给大语言模型。但其会在协同嵌入和预训练大语言模型的词元嵌入间引入模态差异，仍需微调以对齐。 为了解决上述困难，本文提出了用于会话推荐任务的物品语言模型。 其语义嵌入采用Sentence-T5 11B模型计算得到。将带有两层MLP的CoLLM作为基准对比方法，还对比了带有随机初始化Q-Former编码器的ILM模型。
68410编辑于 2024-07-05 - 来自专栏AI科技评论
学界 | 谷歌最强 NLP 模型 BERT 解读
AI 科技评论按：本文是追一科技潘晟锋基于谷歌论文为 AI 科技评论提供的解读稿件。 最近谷歌研究人员通过新的BERT模型在11项NLP任务中夺得STOA结果，这在自然语言处理学界以及工业界都引起了不小的热议。 而谷歌提出的BERT就是在OpenAI的GPT的基础上对预训练的目标进行了修改，并用更大的模型以及更多的数据去进行预训练，从而得到了目前为止最好的效果。 ? 除了模型结构，模型大小和数据量都很重要 以上的描述涵盖了BERT在模型结构和训练目标上的主要创新点，而BERT的成功还有一个很大的原因来自于模型的体量以及训练的数据量。 谷歌用了16个自己的TPU集群（一共64块TPU）来训练大号版本的BERT，一共花了4天的时间。
86720发布于 2018-11-08 - 来自专栏人工智能快报
谷歌推出通用机器学习模型
据外媒报道，谷歌的研究人员已经运用多种类型的训练数据创立了他们所谓的“一个模型解决所有问题”，以此在不同的任务中训练人工智能模型。 研究人员和专注于人工智能的谷歌大脑团队已将该模型与其它工具及模块化组件打包在其新的Tensor2Tensor（T2T）程序库中，他们希望该程序库将帮助促进深度学习研究。 谷歌公司所创建的模型在各种各样的任务中都得到了训练，包括图像识别、翻译任务、图像说明以及语音识别。 研究人员声称，单一模型能够同时在多项领域中学习很多任务，且该模型能够传递知识。 由谷歌大脑研究人员和工程师共同维护的T2T程序库，是一个用于在TensorFlow上训练深度学习模型的一套开源系统。 T2T的发布也包括谷歌大脑研究人员从近期论文中借鉴的数据集库和模型库。
1.2K30发布于 2018-03-07 - 来自专栏碲矿
【羊毛】谷歌家的大模型 Gemini Pro
群友爆料 群友在群里提醒，谷歌又有羊毛可以薅。 在此之前，有群友已经提了 PR，给 WeChatRobot[1] 接上了 Bard。
11310编辑于 2024-12-06 - 来自专栏机器学习与生成对抗网络
谷歌 | 宽模型 和 深模型 学到的，一样吗？
作者｜Thao Nguyen, AI Resident, Google Research 来自｜AI公园 编译｜ronghuaiyang 导读 提高模型容量可以从宽度和深度着手，但是，宽模型和深模型学到的是相同的东西吗 在非常宽或非常深的模型中，我们在它们的内部表征中发现了一个典型的块结构，并在这种现象和模型过参数化之间建立了联系。 模型之间的比较表明，没有块结构的模型在相应层的表示之间表现出显著的相似性，而包含块结构的模型表现出高度不同的表示。 尽管有不同的架构，但没有块结构的宽和深的模型彼此表现出相似的表示，相应的层在模型中大致具有相同的比例深度。然而，当块结构存在时，它的表示对于每个模型是唯一的。 结论 在研究深度和宽度对内部表征的影响时，我们发现了块结构现象，并证明了它与模型容量的联系。我们还表明，宽模型和深模型在类和样本级别上显示出系统输出差异。
1.1K20发布于 2021-07-05 - 来自专栏机器之心
谷歌开源NLP模型可视化工具LIT，模型训练不再「黑箱」
机器之心报道 编辑：陈萍、魔王 深度学习模型的训练就像是「黑箱操作」，知道输入是什么、输出是什么，但中间过程就像个黑匣子，这使得研究人员可能花费大量时间找出模型运行不正常的原因。 为什么模型做出这样的预测？ 此外 LIT 还支持多种模型，包括分类、seq2seq 和结构化预测模型。并且它具备高度可扩展性，可通过声明式、框架无关的 API 进行扩展。 并排模式：比较两个或多个模型，或基于一对示例的一个模型。 高度可扩展性：可扩展到新的模型类型，包括分类、回归、span 标注，seq2seq 和语言建模。 比较模型：通过在全局设置控件中加载多个模型，LIT 可以对它们进行比较。然后复制显示每个模型信息的子模块，以便于在两个模型之间进行比较。
1.1K10发布于 2020-08-28 - 来自专栏机器学习算法与Python学习
谷歌EfficientNet缩放模型，PyTorch实现登热榜
郭一璞 发自 凹非寺 量子位 报道 | 公众号 QbitAI 谷歌上个月底提出的EfficientNet开源缩放模型，在ImageNet的准确率达到了84.1%，超过Gpipe，已经是当前的state-of-the-art 现在，哈佛数学系小哥哥Luke Melas-Kyriazi开源了自己的PyTorch实现，包含与训练模型和Demo。 ? 啥是EfficientNet EfficientNets是一种新的模型缩放方法，准确率比之前最好的Gpipe提高了0.1%，但是模型更小更快，参数的数量和FLOPS都大大减少，效率提升了10倍。 ? 然后将这些系数将应用于基线网络，扩展到所需的目标模型大小或计算力。 模型缩放的有效性也在很大程度上依赖于基线网络。 因此，为了进一步提高性能，谷歌还使用AutoML MNAS框架优化了模型的准确率和效率，执行神经架构搜索来开发新的基线网络。
79230发布于 2019-06-14 - 来自专栏深度学习与python
谷歌推出实验性AI推理大模型
作者 | Daniel Dominguez 译者 | 明知山 策划 | Tina 谷歌推出 Gemini 2.0 Flash Thinking Experimental，一个在其 AI Studio 平台上可用的 AI 推理模型。 这个实验性模型旨在通过推理复杂问题并解释其思考过程处理多模态任务，如编程、数学和物理问题。它基于 Gemini 2.0 Flash 模型，并与类似的模型（包括 OpenAI 的 o1）保持同步。 谷歌 DeepMind 首席科学家 Jeff Dean 表示： 该模型在推理过程中利用了扩展的计算能力，以改善推理结果。 AI Studio 产品负责人 Logan Kilpatrick 将此次发布描述为： 谷歌在探索以推理为中心的 AI 方面做出的初步尝试。
24210编辑于 2025-02-06 - 来自专栏新智元
「扩散模型」首篇综述！谷歌&北大最新研究
全面的回顾：我们首次全面地概述了现代扩散模型及其应用。我们展示了每种扩散模型的主要改进，和原始模型进行了必要的比较，并总结了相应的论文。 对于训练好的一个扩散模型，Progressive Distillation会从新训练一个扩散模型，使新的扩散模型的一步对应于训练好的扩散模型的两步，这样新模型就可以省去老模型一半的采样过程。 我们对提高扩散模型最大似然估计的模型进行了详细的阐述。 这限制了扩散模型的应用场景。数个研究工作将扩散模型推广到适用于其他数据类型的模型，我们对这些方法进行了详细地阐释。 然后我们介绍了扩散模型是如何与它们联系起来的，并说明通过结合扩散模型来改进这些生成模型。
1.3K20编辑于 2022-09-27 - 来自专栏1996
谷歌发布神经网络MetNet模型预测天气
很多气象机构目前采用的预报是基于大气的物理模型，但这些模型本身受到计算要求的限制且对物理定律的近似值非常敏感。另一种天气预报方法是使用深神经网络（DNNs）。 Google发布神经天气模型，几秒钟预测整个美国的降水量 MetNet模型预测结果与 NOAA 多雷达/多传感器系统（MRMS）测量的地面真实值进行了比较。 MetNet 神经天气模型能够在 8 小时内超过 NOAA-HRRR 系统，并且始终优于基于流量的模型。 下图比较了 MetNet 模型和 HRRR 模型的输出。 注意，虽然 HRRR 模型预测的结构似乎更接近于基本事实，但预测的结构可能严重错误。 与 MetNet模型相比，HRRR 物理模型的预测更清晰、更结构化。
1.1K20编辑于 2022-09-23 - 来自专栏计算机视觉战队
谷歌开源NLP模型可视化工具LIT，模型训练不再「黑箱」
计算机视觉研究院专栏 作者：Edison_G 深度学习模型的训练就像是「黑箱操作」，知道输入是什么、输出是什么，但中间过程就像个黑匣子，这使得研究人员可能花费大量时间找出模型运行不正常的原因。 为什么模型做出这样的预测？ 此外 LIT 还支持多种模型，包括分类、seq2seq 和结构化预测模型。并且它具备高度可扩展性，可通过声明式、框架无关的 API 进行扩展。 并排模式：比较两个或多个模型，或基于一对示例的一个模型。 高度可扩展性：可扩展到新的模型类型，包括分类、回归、span 标注，seq2seq 和语言建模。 比较模型：通过在全局设置控件中加载多个模型，LIT 可以对它们进行比较。然后复制显示每个模型信息的子模块，以便于在两个模型之间进行比较。
62230发布于 2020-09-02 谷歌Gemma 大模型 部署搭建本地详细教程
————前言————谷歌 Gemma 是一个基于 Python 的图像分析工具，提供快速和准确的物体检测、定位、分类和风格迁移功能。 特点速度快速：Gemma 使用 TensorFlow Lite 模型，可以快速运行在移动设备上。准确性：Gemma 使用预训练的模型，可以实现准确的物体检测和分类。 谷歌Gemma是一系列轻量级、最先进的开放模型，由Google AI构建并开源。Gemma模型旨在为各种自然语言处理任务提供卓越的性能，同时保持较低的资源需求和部署灵活性。 Gemma模型可以通过以下方式使用：在本地计算机上使用：可以下载Gemma模型的代码和权重，并在本地计算机上运行。 来自Gemma官网：Gemma 模型与 Gemini 共享技术和基础设施组件，Gemini 是我们当今广泛使用的最大、功能最强大的 AI 模型。
2.9K10编辑于 2024-04-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号