- 综合排序
- 最热优先
- 最新优先
- 来自专栏深度学习与python
ChatGPT爆火，揭秘AI大模型背后的高性能计算网络
前几天横空出世的 AI 爆款产品 ChatGPT，可以聊天、写代码、解答难题、写小说，其技术底座正是基于微调后的 GPT3.5 大模型，参数量多达 1750 亿个。 ChatGPT 的 AI 内容生成 如此大规模、长时间的 GPU 集群训练任务，对网络互联底座的性能、可靠性、成本等各方面都提出极致要求。对此，追求极致高性能与高可用的星脉高性能计算网络面世了。 GPT3 模型训练性能 上图是对 GPT3 模型的实测性能数据，主要通信模式是 AllReduce。 T5-MoE 模型训练性能 上图是对 T5-MoE 模型的实测性能数据，主要通信模式是 All-to-All。 4）模型 & 可靠性测试：运行典型模型训练，判断业务模型性能是否达到预期；通过设计端侧故障模拟、网络内故障模拟以及交换机配置错误等三类故障来判断业务可用性是否达到预期。
1K10编辑于 2023-03-29 - 来自专栏C++领域相关博客
AI语言模型的技术之争：DeepSeek与ChatGPT的架构与训练揭秘
1.2 ChatGPT简介 ChatGPT是OpenAI开发的一款基于GPT（Generative Pre-trained Transformer）架构的自然语言处理模型。 自从2022年首次发布以来，ChatGPT便因其在对话生成、问题解答、文本生成等任务中的卓越表现而成为全球最知名的语言生成模型之一。 2.2 模型规模与参数 ChatGPT：OpenAI的GPT-3模型包含了约1750亿个参数，而GPT-4则进一步扩展，拥有数万亿个参数。 3.3 知识蒸馏与量化技术 ChatGPT：ChatGPT的训练过程并未大量依赖知识蒸馏技术，主要依赖于大规模的无监督学习，并通过微调优化模型在特定领域的表现。 第五章：代码实现：DeepSeek与ChatGPT的代码对比与实现 我们将从两个方面展示代码： 模型的加载与推理： 如何加载预训练模型并使用其进行推理。
1.8K20编辑于 2025-02-13 - 来自专栏开源心路
chatGPT模型原理
简介 openai 的 GPT 大模型的发展历程。 GPT-3 大模型中的大模型 首先， GPT-3 的模型所采用的数据量之大，高达上万亿，模型参数量也十分巨大，学习之复杂，计算之繁复不说了。 这种引导学习的方式，在超大模型上展示了惊人的效果：只需要给出一个或者几个示范样例，模型就能照猫画虎地给出正确答案。注意啊，是超大模型才可以，一般几亿参数的大模型是不行的。 （我们这里没有小模型，只有大模型、超大模型、巨大模型） chatGPT chatGPT 模型上基本上和之前都没有太大变化，主要变化的是训练策略变了。 开源ChatGPT https://github.com/hpcaitech/ColossalAI https://github.com/lucidrains/PaLM-rlhf-pytorch
42010编辑于 2023-06-30 - 来自专栏算法一只狗
ChatGPT背后的模型
InstructGPT模型比GPT-3模型更擅长遵循用户的指令。这个模型很少会编造事实，同时在有毒输出产生方面表现出小幅下降。 2.ChatGPT中的RLHF方法 在实际应用上训练ChatGPT中，其包含了几个以下的三个主要步骤： 收集人工标记的数据，用来微调预训练模型GPT-3 训练奖励模型 利用强化学习进一步微调语言模型 1 微调模型GPT-3 第一步比较简单，ChatGPT直接使用GPT-3作为预训练模型。 得到排序结果后，就可以用来训练奖励模型。奖励模型可以利用预训练模型进行初始化，或者也可以进行随机初始化。然后把人工标注的排序结果输入到奖励模型中。 这里可以使用类似推荐系统中的“pair-wise”，把两个句子输入进行，奖励模型判别哪个句子较好。 最后，我们就有了两个模型，一个是第一步得到的LM模型，另一个是现在得到的奖励模型（RM）。
84610编辑于 2023-01-18 - 来自专栏国产
GPT会上网了，ChatGPT插件的原理揭秘
☀️ 前言最近人工智能领域高潮迭起，人工智能聊天工具 ChatGPT 的大风刮到了世界各地，风靡全球，说到神奇的 ChatGPT 大家最想吐槽的是什么？信息落后？胡说八道？不会算数？ 通过这个插件，用户可以向 ChatGPT 发送计算机代码，并且 ChatGPT 会尝试理解并执行这些代码，从而返回计算结果。 通过这个插件，用户可以使用自然语言与 ChatGPT 交互，并且可以使用 ChatGPT 执行一些简单的计算任务，从而减轻用户自己编写代码的工作量。 在这个整个过程中，用户通过自然语言向 ChatGPT 发送请求，ChatGPT 会先使用预训练的语言模型对请求进行理解和编码。接着，ChatGPT 会将请求传递给相应的插件进行处理。 官方给我们演示了一个用 ChatGPT 生成 ChatGPT 插件的示例，但是这些不是我们关注的点，我只需要关心产物即可。
1.5K70编辑于 2023-04-06 - 来自专栏掘金安东尼
AIGC 揭秘：探究 Transformer 模型
所以，小结一下： Transformer：允许模型在处理每个位置时关注其他位置的信息，从而能够捕捉到全局的语义信息； RNN：是通过循环连接逐步传递信息； CNN：主要通过局部感知采样来处理局部特征 （其中，权重即为该元素与其他元素的注意力分数）； 所以，如此这般，每个元素的表示都包含了整个序列的信息，从而使得模型更加全面地理解输入。
62220编辑于 2023-10-16 - 来自专栏muller的测试分享
揭秘ChatGPT的Prompt方法：原理与应用总结
对于ChatGPT而言，Prompt方法使得用户可以以文本的形式指导模型生成符合特定要求的回复或内容，而无需进行复杂的微调或训练。这种方法的灵活性和效率使得其在实际应用中备受青睐。 当用户提供一个Prompt时，ChatGPT会将其视为一个上下文，并根据这个上下文生成接下来的文本。这种生成过程基于模型对语言的理解以及对可能的后续文本的预测。 在技术上，Prompt方法通过将Prompt文本与模型的输入进行拼接来实现。模型接受Prompt文本作为其输入，并基于该文本生成相应的回复或内容。 总结Prompt方法作为ChatGPT成功的关键之一，为用户提供了一种简单而有效的方式来指导模型生成特定风格或内容的文本。 其原理基于模型对语言的理解和生成能力，通过提供Prompt文本来引导模型生成相应的文本内容。在实际应用中，Prompt方法展现出了广泛的应用前景，为各种场景下的文本生成任务提供了便利和效率。
45810编辑于 2024-03-13 - 来自专栏AI资讯
带你揭秘；ChatGPT 背后的超级计算机
上万颗英伟达芯片 + 微软数亿美元投资，带你揭秘 ChatGPT 背后的超级计算机 北京时间 3 月 14 日消息，人工智能聊天机器人 ChatGPT 一经推出便火爆全球，但外界可能不知道，ChatGPT 图片 2019 年，当微软向 ChatGPT 开发商 OpenAI 投资 10 亿美元时，它同意为这家人工智能研究创业公司打造一台庞大的尖端超级计算机。 这就是 ChatGPT 成为可能的原因，”微软 Azure 人工智能基础设施总经理尼迪・查普尔 (Nidhi Chappell) 表示，“它是从中得出的一个模型，未来还会有很多很多其他的模型。” 图片 ChatGPT 靠的是超级计算机训练 这项技术帮助 OpenAI 发布了 ChatGPT，后者在去年 11 月发布几天后就吸引了 100 多万用户，现在正被纳入其他公司的商业模式，从亿万富翁对冲基金创始人肯 “现在让世界惊叹的模型是建立在我们几年前开始建造的超级计算机上的。新的模型将建立在我们正在训练的新型超级计算机上，这台计算机更大，也更精密。”
1K20编辑于 2023-03-14 - 来自专栏花雕学AI
《花雕学AI》34：用13种Prompt玩转AI聊天机器人—揭秘ChatGPT模型
在本文中，我们将介绍ChatGPT的13种Prompt的概念和作用，并举例说明如何使用它们来和聊天机器人进行愉快和有意义的对话。 图片 目录： 1、定义：给出一个概念或术语，让模型给出一个清晰和准确的定义。 2、罗列：给出一个主题或类别，让模型罗列出一些相关或典型的例子。 3、分类：给出一个项目或对象，让模型判断它属于哪个类别或分组。 4、归纳：给出一些具体的事实或信息，让模型归纳出一个一般性的结论或规律。 5、解释：给出一个现象或问题，让模型解释其原因或意义。 本文介绍了一种聊天机器人模型，叫ChatGPT。它可以用13种Prompt来生成不同回答。本文也分析了每种Prompt的好处和坏处，并给出了示例。本文希望能够帮助读者学习和使用聊天机器人。 本文也提醒读者在使用ChatGPT时，注意其局限性和潜在风险。
65720编辑于 2023-05-13 - 来自专栏ToB行业头条
官方揭秘ChatGPT Agent背后原理！通过强化学习让模型自主探索最佳工具组合
在这次的谈话中，他们介绍了ChatGPT Agent的起源： 我们团队分别开发了Operator和Deep Research，在分析用户请求时发现，Deep Research的用户非常希望模型能够访问需要付费订阅的内容或有门槛的资源 在这次圆桌谈话中，ChatGPT Agent团队首次披露了他们的训练方法：将所有工具集成至虚拟机，通过强化学习让模型自主探索最佳工具组合。 这种设计使ChatGPT Agent能高效处理互联网、文件系统和代码等交互任务。研究团队没有预先指定工具使用规则，而是让模型通过强化学习自行发现最佳策略。 他们在谈话中表示，ChatGPT Agent团队对研究与应用的界限并不严格，应用工程师参与模型训练，研究人员也参与模型部署。 研究与应用团队紧密合作，从定义产品功能到模型训练均以用户场景为导向。 虽然单一智能体模型在扩展性和通用性上更具潜力，但研究团队希望通过持续优化，让ChatGPT Agent能够无缝处理从简单查询到复杂工作流的各种任务，减少用户对多个专用模型的依赖。
31610编辑于 2025-07-26 - 来自专栏小工匠聊架构
ChatGPT - 如何高效的调教ChatGPT （指令建构模型-LACES问题模型）
定义 LACES问题模型是一个更具体的提问prompts构建方法。它包括以下五个要素： 1. Limitation（限定条件） 为问题或指令增加限定条件，有助于获得更具针对性的答案。 或者启发ChatGPT自行进行任务拆解，进行链式思考（Chain of Thought） ---- 小Demo 使用LACES问题模型来撰写一个关于市场营销策略的问题示例： L – “请列出五个有效的针对社交媒体的市场营销策略 这里的分步骤问题，要分多次拆解提问给ChatGPT。
56410编辑于 2023-05-01 - 来自专栏机器学习入门
【AI大模型】ChatGPT模型原理介绍（下）
ChatGPT介绍 ChatGPT是一种基于GPT-3的聊天机器人模型. 它旨在使用 GPT-3 的语言生成能力来与用户进行自然语言对话. 目前基于ChatGPT的论文并没有公布, 因此接下来我们基于openai官网的介绍对其原理进行解析 2.1 ChatGPT原理 在介绍ChatGPT原理之前, 请大家先思考一个问题: “模型越大、参数越多 模型选择: ChatGPT 的开发人员选择了 GPT-3.5 系列中的预训练模型, 而不是对原始 GPT-3 模型进行调优. 如果奖励分数比较低, 代表ChatGPT模型输出结果不对, 此时需要利用PPO算法更新ChatGPT模型参数 第四步: 循环上述步骤, 不断更新ChatGPT、RM模型. 2.7 ChatGPT 本章节主要讲述了ChatGPT的发展历程，重点对比了N-gram语言模型和神经网络语言模型的区别，以及GPT系列模型的对比.
63810编辑于 2024-09-18 - 来自专栏MavenTalk
揭秘ChatGPT：探究其卓越表现的背后的数据
13.36%的ChatGPT用户来自美国，7.01%来自印度。 59.67%的ChatGPT用户是男性，其余40.33%是女性。64.53%的ChatGPT用户来自18至34岁年龄组。 ChatGPT 主要通过销售其 API、高级订阅计划 （chatGPT Plus）、销售训练数据集等来赚钱。 ChatGPT主要由英语用户使用。 56.1%的读者认为ChatGPT撰写的健康内容是由人类撰写的。 GPT 3 模型在 1750 亿个参数上进行训练，而 GPT 4 模型在超过 1 万亿个参数上进行训练。 ChatGPT被训练了3000亿个单词。 ChatGPT 有 570 GB 的文本数据。 ChatGPT 经过训练，可以拒绝来自用户的不当请求。 ChatGPT有能力破解几乎所有的标准化测试。 ChatGPT 的免费版本适用于 GPT-3.5 技术，而 ChatGPT Plus 适用于 GPT-4 技术。据报道，Plus版本比ChatGPT的免费版本好十倍。
56320编辑于 2023-09-04 - 来自专栏机器学习入门
【AI大模型】ChatGPT模型原理介绍（上）
学习目标 了解ChatGPT的本质 了解GPT系列模型的原理和区别 什么是ChatGPT？ ChatGPT 是由人工智能研究实验室 OpenAI 在2022年11月30日发布的全新聊天机器人模型, 一款人工智能技术驱动的自然语言处理工具. 全球每天约有1300万独立访问者使用ChatGPT, 而爆炸性的增量也给该公司发展带来了想象空 间. 自从 ChatGPT 出现后. 那么ChatGPT背后的实现原理是什么呢？接下来我们将给大家进行详细的解析. 在我们了解ChatGPT模型原理之前, 需要回顾下ChatGPT的成长史, 即我们需要对GPT-1、GPT-2、GPT-3等一系列模型进行了解和学习, 以便我们更好的理解ChatGPT的算法原理.
1.5K10编辑于 2024-09-18 - 来自专栏技术分享
ChatGPT模型请求参数学习
为模型提供区分相同角色参与者的信息。 如果有其他的模型， model (string，必须)：要使用的模型的ID。请参阅模型端点兼容性表格，以了解哪些模型与Chat API兼容。 如果设置，将发送部分消息增量，如在ChatGPT中。令牌将作为数据仅服务器发送事件发送，随着它们变得可用，流由消息终止。 temperature (number or null，可选)：默认为1。 tool_choice (string or object，可选)：控制模型调用的函数（如果有）。none意味着模型将不调用函数而是生成消息。auto意味着模型可以在生成消息或调用函数之间选择。 通过指定特定函数，强制模型调用该函数。 这里我们暂时不用管， auto是默认值， 他允许模型根据对话的上下文和可用的工具自动决定最佳行动路径。 model (string)：用于聊天完成的模型。 system_fingerprint (string)：这个指纹代表模型运行的后端配置。
1K10编辑于 2024-05-31 - 来自专栏chatgpt小智AI
chatgpt语言模型|小智ai
ChatGPT丨小智ai丨chatgpt丨人工智能丨OpenAI丨聊天机器人丨AI语音助手丨GPT-3.5丨开源AI平台简介： ChatGPT是一种智能语言模型，它使用先进的人工智能技术，能够进行自然语言的交互式对话 通过深度学习和大规模数据训练，ChatGPT具备了理解人类语言和生成自然回复的能力。本文将介绍ChatGPT的工作原理、应用场景以及其对人机对话的潜在影响。 正文： ChatGPT的工作原理： ChatGPT基于生成式模型，它由一个庞大的神经网络组成，能够根据输入的文本生成相应的回复。 ChatGPT的训练过程涉及海量的文本数据，其中包括网络文章、对话记录和书籍等。通过深度学习算法，模型可以从这些数据中学习到语法、语义和上下文的相关信息，从而能够产生准确、连贯的回复。 结论： ChatGPT作为一种智能语言模型，代表了人工智能技术在人机对话领域的重要进展。它的出现为人机交互带来了更大的便利和效率，并且在多个领域展现出巨大的潜力。
47120编辑于 2023-05-12 - 来自专栏机器之心
OpenAI揭秘ChatGPT升级计划：你找到的bug都在改了
首先，模型要经历一个「预训练」阶段。在这个阶段中，模型通过接触大量的互联网文本（以及大量的观点）来学习预测一个句子中的下一个词。接下来是第二个阶段，我们对模型进行「微调」，以缩小系统的行为范围。 两大步骤：预训练和微调 构建 ChatGPT 的两个主要步骤如下： 首先，我们对模型进行 「预训练」，让它们预测包含互联网部分内容的大数据集的下一步是什么。 然后，我们在一个范围更窄的数据集上对这些模型进行「微调」，这些数据集是由遵循我们提供的指南的人类评审员精心制作的。 取而代之的是，我们在指南中概述了几个类别，我们的评审员用这些类别来审查和评价一系列示例输入的可能模型输出。 然后，在使用过程中，模型从评审员的反馈中归纳出来，以便对特定用户提供的广泛的具体输入做出反应。
31920编辑于 2023-02-23 为什么ChatGPT能听懂你说的话？Embedding 技术揭秘
ChatGPT、Claude这些AI助手能理解我们说的话，还能给出像样的回答。做到这点，靠的是Embedding技术。 没有它，大语言模型根本没法处理文字输入。 LLM内部怎么工作 用户向ChatGPT输入问题时，系统内部经历几个步骤： 第一步：Tokenization（分词）：分词器把文本拆成token。 RAG是什么 RAG把大语言模型和可搜索的外部知识库结合。核心想法：让模型访问训练时没见过的新信息，提升回答准确性和时效性。 传统LLM应用里，模型知识来自训练数据。 生成：检索出的文本块和用户查询一起传给大语言模型。模型基于这些信息生成回答。 模型一致性原则 RAG里有个原则必须遵守：导入数据和查询时，必须用同一个Embedding模型。 不同模型把相同文本映射到不同向量空间。导入和查询用不同模型，就像用英语语法规则理解中文句子，匹配会失败。保持模型一致，检索才准确。
1100编辑于 2026-04-14- 来自专栏小麦苗的DB宝专栏
大模型的神秘“积木”：Tokens揭秘
初识 Tokens：大模型的 “最小拼图” 咱平时跟大模型（大型语言模型，Large Language Model，简称LLM）唠嗑、让它帮写文案的时候，有没有好奇过——它到底是咋看懂咱们敲的这些字的？ 字节对编码（BPE，Byte Pair Encoding）：大模型的“本命玩法” 这是现在大模型最常用的方式，简称BPE。 Tokens 在大模型里的 “隐藏任务” 这种方式完美平衡了“词表大小”和“处理新词能力”：既不会因为词表太大让模型扛不住，又能把新词拆成已知的子词组合，让大模型能搞定各种生僻词、新词，效率直接拉满～ Tokens可不光是“拆文本”这么简单，在大模型的训练和工作过程中，它可是隐藏的“核心打工人”，没它大模型根本转不起来！ 说白了，Tokens就是大模型写作的“灵感线索”，没它就写不出连贯的话～ 大模型为何偏爱按 Tokens 收费 细心的小伙伴肯定发现了：ChatGPT、文心一言这些大模型，收费都按Tokens算，跟普通软件按次
27610编辑于 2026-03-26 - 来自专栏【腾讯云开发者】
Redis 多线程网络模型全面揭秘
无法完全适配 Redis 这一类复杂的网络 I/O 场景，更多网络 I/O 对 CPU 时间的消耗和 Linux 零拷贝技术，可以阅读笔者的另一篇文章：Linux I/O 原理和 Zero-copy 技术全面揭秘 【2】Linux I/O 原理和 Zero-copy 技术全面揭秘： https://strikefreedom.top/linux-io-and-zero-copy 因此，利用多核优势成为了优化网络 更多关于 Reactor 模式的细节可以参考笔者之前的文章：Go netpoller 原生网络模型之源码全面揭秘，Reactor 网络模型那一小节【3】，这里不再赘述。 【3】Go netpoller 原生网络模型之源码全面揭秘： https://strikefreedom.top/go-netpoll-io-multiplexing-reactor Redis 的核心网络模型在 //antirez.com/news/126 [6] How fast is Redishttps://redis.io/topics/benchmarks [7] Go netpoller 原生网络模型之源码全面揭秘
1.5K20发布于 2021-02-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号