- 综合排序
- 最热优先
- 最新优先
- 来自专栏大模型应用
大模型应用：大模型的词元化处理详解：BPE、WordPiece、Unigram.11
引言 词元化（Tokenization）是大模型预处理的核心步骤，将连续文本切分为模型可理解的最小语义单元（Token），这些词元可以是单词、子词或字符。 在大模型中，常见的子词词元化方法有BPE（Byte-Pair Encoding）、WordPiece和Unigram。下面我们将分别详细介绍这三种方法的基础原理、核心概念，并给出详细示例。 具体来说，每次选择合并后能最大程度增加语言模型似然的词元对。2. 核心概念合并标准：选择使语言模型似然增加最大的对。语言模型：通常是一个基于词元的n-gram模型。3. 处理逻辑1. 生成候选Token（例如所有单字、双字、多字组合，或者通过其他方式生成一个大词表）3. 构建初始大词表4. 训练Unigram语言模型（即计算每个词元的概率）5. 六、总结 词元化是大模型理解文本的基础预处理步骤，核心是将中文文本切分为有语义的最小单元（Token）。
39022编辑于 2026-02-08 - 来自专栏xiaosen
认识大模型提示词
（中/英） 二、提示词生成器 现在你是一名基于输入描述的提示词生成圈，你会将我输入的自然语言想象为完整的画面生成提示词。 请注意，你生成后的内容服务于一个绘画AI，它只能理解具象的提示词而非抽象的概念，我将提供简短的中文描述，生成器需要为我提供准确的提示词，必要时优化和重组以提供更准确的内容，也只输出翻译后的英文内容。 请模仿示例的结构生成完美的提示词。 请仔细阅读我的要求，并严格按照规则生成提示词，如果你明白了，请回复“我准备好了”，当我输入中文内容后，请生成我需要的英文内容。注意，英文连着写，不要标序号。英文写完了，用中文翻译一遍。 九、AI提示词 我想让你充当 Midjourney 人工智能程序的提示生成器。你的工作是提供详细和有创意的描述，以激发人工智能的独特和有趣的图像。
48410编辑于 2024-05-16 - 来自专栏大模型成长之路
【大模型学习 | 词向量】
因此，Word2Vec希望能够通过训练得到一个新的词向量表达方式，从而丰富向量的语义信息。主要目标如图所示，从一个稀疏的one-hot向量通过训练得到一个丰富稠密的新向量。 How achieveword2vec通过神经网络模型训练新的词向量表达模型中参数的定义：one-hot：1, 7 表示一共有七个单词；Embedding：表示输入层到隐藏层的权重矩阵，是从one-hot 4进行输入，同样也可以得到相同的词向量。 CodingWord2Vec有两种模型结构：CBOW和Skip-gram，本质上的模型架构的不同：输入和输出一对多（Skip-gram）和多对一（CBOW）。 Batch, embedding_dim) logits = self.linear(embedded) return logits Negative sameple提出动机：每次模型训练都需要计算所有词向量的损失
20910编辑于 2025-06-26 - 来自专栏DrugOne
. | Token-Mol 1.0：基于大语言模型的词元化药物设计
该研究提出了一种仅使用词元的三维药物设计模型Token-Mol，可以将二维和三维结构信息以及分子性质编码为离散的词元。 通过在大规模数据集上运用无监督学习，这些模型成功应对了稀疏词元和分布外泛化不佳的难题，显著提升了在药物研发相关任务中的性能表现。 因此，如何克服基于化学语言的预训练模型和基于图的预训练模型各自的局限性，开发出一种既适用于各类药物设计场景，又能轻松与现有通用大语言模型集成的化学大模型，已成为当下药物研发领域亟待突破的关键问题。 方法概述 本研究提出了分子预训练的大语言模型Token-Mol。为了增强与现有通用模型的兼容性，该研究采用仅基于词元的训练范式，将所有回归任务重新定义为概率预测任务。 这种创新的损失函数在训练过程中为每个词元分配权重，使模型能够学习数值词元之间的关系。此外，Token-Mol与其他先进的建模技术（包括微调和强化学习（RL））具有出色的兼容性。
42310编辑于 2025-05-15 - 来自专栏喔家ArchiSelf
大模型系列：提示词管理
既然大模型应用的编程范式是面向提示词的编程，需要建立一个全面且结构化的提示词库， 对提示词进行持续优化也是必不可少的，那么如何在大模型应用中更好的管理提示词呢？ 1. 为确保提示词能达到预期效果，要建立一个全面的跟踪系统。这个系统应能捕捉提示词本身、输入、输出及详细的元数据，如模型版本和配置参数。有了这些信息，我们就可以跨不同的场景和模型分析性能。 开发者可以使用 Python SDK 来创建详细的提示词，添加丰富的元数据，如模型配置和内插变量。然后可以通过模型激活这些提示词，这些模型在指定的环境中充当 API 端点。 每个提示词都与包含模型类型和版本等详细信息的元数据相关联，从而增强了与底层模型基础设施的集成。 提示词是大模型应用的核心，涵盖了所有必要的细节，如大型模型的调用、上下文、元数据等。我们已经认识到开发评估方法以有效地测试和监控部署的重要性。
1.6K10编辑于 2024-06-17 - 来自专栏Java实战博客
大模型提示词-新手篇
图片 “提示词优化”（Prompt Engineering）是让大模型发挥最大效果的核心技能，也是很多 AI 应用的 隐形竞争力。 如果”你把事情传递这个模型“ 在生活中建立好了，本篇文章就很简单了。 一、理解提示词的本质 1. 什么是提示词（Prompt） 提示词是你给予大模型的输入信息，用于引导它产生符合你目标的输出。 结论就是： 大模型遵循语言理解概率，模糊的提示词会导致内容不稳定。 优化提示词 = 增加模型理解精度 × 降低输出误差 × 提高可控性。 二、精通提示词优化的学习路线 阶段 1：基础认知 1.熟悉大模型特性 不同模型对提示词敏感度不同（如 GPT-4 更擅长遵循复杂结构）。 了解模型的默认输出风格、限制和优势。 大模型更懂大模型。提示词哪里不好。
1.4K12编辑于 2026-01-07 - 来自专栏DrugOne
. | mRNABERT：基于双重词元化和跨模态对比学习的通用mRNA大模型
mRNABERT在包含1800万条mRNA序列的迄今最大数据集上进行预训练，创新性地采用了双重词元化（Dual Tokenization）策略，将非翻译区（UTR）的核苷酸和编码区（CDS）的密码子分别编码 首先，模型采用了双重词元化策略（Dual Tokenization），打破了传统单一的编码方式，将5'和3'UTR区域按单个核苷酸（Nucleotide）进行词元化，而将CDS区域按密码子（Codon） 进行词元化。 这种卓越的表现主要归功于模型独特的双重词元化设计与ALiBi机制的结合，前者确保了模型能以混合精度理解全长序列，后者则使其从底层架构上突破了传统Transformer的长度限制。 通过创新的双重词元化策略和跨模态对比学习，mRNABERT成功克服了现有模型在处理全长mRNA和整合多维生物信息方面的局限。
20810编辑于 2025-11-29 混元大模型初试
混元大模型基础产品体验 那么先来测试一下腾讯混元大模型的基础产品体验，混元生文、混元多模态以及混元生图。 以下为混元以“玩转混元大模型“为主题而生成的文章及其配图，图片下增添了混元对于其配图的解释： （腾讯混元大模型的概述 - 风格：现代科技风格 - 内容：展示混元大模型的抽象图形，背景为科技感的未来城市， 二、自然语言处理（NLP） 1.词嵌入（Word Embedding）： 将文本中的单词转换为向量表示，以便机器能够理解和处理语义信息。 2. 例如，通过奖励机制鼓励模型生成更符合人类偏好的回答。 2. 模仿学习： 模型通过观察和学习人类专家的行为来提升自身的表现。 五、优化与正则化技术 1. 梯度裁剪： 防止训练过程中出现梯度爆炸现象，保证模型的稳定性。 2. Dropout 和 Batch Normalization： 这些正则化技术有助于减少过拟合，提高模型的泛化能力。
64510编辑于 2024-09-24- 来自专栏程序随笔
聊聊大模型的屏蔽词工程
此时模型相当于已经挂了。 普遍来看，敏感词汇的覆盖场景是比较多的，尤其是控制不了用户的输入，很有可能就会恶意或无意的输入敏感词，而模型如果不能正常的回复，或是屏蔽这类词汇，很容易就会出现我的问题。 如下： 建立敏感词库 算法——识别敏感词 模型训练时，提前对输入的敏感词预处理 屏蔽或删除敏感词汇 使用占位符替换敏感词 针对敏感词，模型的回复处理 直接提示，并拒绝相关回答 安慰疏导 敏感词识别检测 一直很难受，压力大，一度想要自杀，尝试过跳楼，但被人拉住拽了回来。 在输入的文本前面加上对应的Prompt引导词。 当然最关键的是识别敏感词汇，才能让模型很好的响应带有敏感词的输入。 系列文章 聊聊实际业务下大模型另一种架构的实现思考 聊聊vLLM并行推理框架的设计 简单聊聊vLLM并行推理加速框架 转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote
1.7K10编辑于 2024-04-17 - 来自专栏机器之心
ChatGPT国产化：ChatYuan元语对话大模型升级
国产自研功能对话大模型元语 ChatYuan 于 2022 年 12 月发布测试版本后，引起社会各界人士的广泛讨论，并且收到了用户的大量反馈和宝贵建议。 元语智能团队已于近日对元语 ChatYuan 进行了模型效果优化和版本功能升级，现已开放内测。 内测通道可以关注【元语智能】公众号，后台回复【元语】获取内测资格。 欢迎各位朋友积极参与内测，国产通用大模型已成为势在必行的必备能力，欢迎大家一起共建和督促。 【欢迎有识之士】 元语智能团队欢迎所有对大模型有热情、有信仰的朋友加入。 可以通过元语智能公众号，后台留言【加入】联系元语团队，或发送邮件至 connect@yuanyu.ai 元语智能团队其他技术和产品介绍，可以阅读「首个中文版ChatGPT来了：大模型的中国元“Yuan”
82720编辑于 2023-02-23 - 来自专栏三掌柜的技术空间
【玩转腾讯混元大模型】腾讯混元大模型：技术代码实践与应用
目录前言国产大模型进入长跑期，从参数至上转向实用优先有价值的技术代码实战经验分享基于腾讯混元大模型的技术开发实践、新颖的技术场景应用对腾讯混元大模型的深入理解和代码使用技巧番外篇：发现腾讯混元的友好之处结束语前言随着去年腾讯推出的混元大模型以来 我认为这一趋势也反映了国产大模型在自然语言处理领域的技术进步和成熟度的提升，不仅在学术界，国内企业也在积极推动大模型的研发和应用，通过持续的创新和努力，国产大模型正逐渐走向实用化，并在各个领域展现出巨大的潜力 下面分享一下腾讯混元大模型微信小程序的应用界面一角：有价值的技术代码实战经验分享先来通过技术代码实践相关来分享使用腾讯混元大模型的体验，在与腾讯混元大模型的技术代码实践中，以自然语言处理为例，我们可以了解如何使用腾讯混元大模型进行文本生成 基于腾讯混元大模型的技术开发实践、新颖的技术场景应用再来分享一下基于腾讯混元大模型的技术开发实践、新颖的技术场景应用的体验，大家都知道腾讯混元大模型的强大功能为开发者提供了广阔的技术开发实践和应用空间， 比如在智能客服领域，我们可以基于该模型开发智能对话系统，提供更加智能、流畅的人机交互体验；在知识图谱构建方面，腾讯混元大模型可以用于自动化的实体关系抽取和知识图谱补全；还有就是该模型还可以应用于自动代码生成
1.9K53编辑于 2024-01-31 - 来自专栏Java实战博客
大模型提示词-能力增强版
图片 大模型模态是什么？ 动不动听到多模态、多模态。模态是数据的存在形式与信息载体类型，大模型的 “模态能力” 就是它处理、理解、生成不同类型数据的能力。 白话就是：AI能理解的数据形式。 大模型的常见模态类型 模态的划分完全基于数据载体，不同模态对应不同的输入输出形式，常见类型如下： 模态类型 核心数据载体 典型大模型代表 应用场景（贴合后端 / 企业架构） 单模态 - 文本 自然语言文字 假设你的环境支持： search_web（网页搜索工具） get_webpage_content（网页解析工具 我们操作大模型的入口就是：提示词。 我们需要在提示词（一般推荐写在：系统提示词）里描述出内容即可。下面给出示例。 这样你的大模型基本上就可以自动判断 + 自动调用工具 了。
22610编辑于 2026-01-07 【玩转腾讯混元大模型】如何使用腾讯混元大模型生成的Python代码
直到腾讯混元大模型出世，让不会编程、但是又想享受编程带来便利，成为现实。这又叫做“自然语言编程”。 绝对能给我们的生活打开一个新世界。你只要向腾讯混元大模型描述你想干什么，它就能给你写出所有的代码。 这个案例是格式转换：把mp4文件，让腾讯混元大模型写Python代码，10秒转换成MP3文件。1.安装PythonPython是目前最流行的编程语言之一，市面上有大量的实操案例，可以借鉴。 以后，我们会在这里面运行腾讯混元大模型写好的程序。 4.1 让腾讯混元大模型写代码这里以转换文件为例：把文件夹里的视频mp4文件，转换成mp3音频文件写需求并把需求提交给腾讯混元大模型：参考提示词： 作为一个Python程序员，需要把文件夹里的MP4文件 混元代码能力展示混元大模型在代码生成、代码补全、代码审查、与注释生成等方面均有出色表现。下面将逐一介绍各项功能。5.1代码生成混元大模型能够理解用户的需求，自动生成高质量的代码。
2.3K31编辑于 2024-01-15【玩转腾讯混元大模型】腾讯混元大模型AIGC系列产品深度体验
【玩转腾讯混元大模型】腾讯混元大模型AIGC系列产品深度体验腾讯推出的系列AI产品：混元大模型、大模型图像创作引擎、大模型视频创作引擎、腾讯元宝，共同构成了一个强大的AI生态系统；凭借腾讯自研的大规模预训练技术和先进的自然语言处理 ，可结合输入的文本输出相关文本内容，可在文本生成、创作、问答等场景服务各类行业内容创作：具备文学创作、文本摘要等内容创作能力体验流程1、体验地址混元生文体验地址2、点击立即体验图片3、体验腾讯混元大模型图片大模型知识引擎图片 、开始任务-创作记录中查看进度图片4、成功风格化图片图片跳舞1、图片跳舞图片2、选择舞蹈-上传图片图片3、开始任务-创作记录中查看进度图片4、成功图片腾讯元宝腾讯元宝基于腾讯混元大模型的C端应用，融合了 AIGC系列产品提供非常丰富的前沿技术：混元生文、混元生图、图像创作引擎、视频创作引擎以及基于腾讯混元大模型搭建的智能体腾讯元宝展现了广阔的应用潜力与价值虽然各项大模型在体验中的效果不是非常完善，如混元生文的文章排版格式有时候会出现标点的混乱 、混元生图调优的图片不是非常完美、图像视频创作引擎过于模版化等微小细节问题，但是在不久的将来对各项模型的调优会使模型更加完善真实！
1.2K20编辑于 2024-10-15- 来自专栏腾讯云智能·AI公有云
腾讯混元大模型，向你问好！
你好，我叫腾讯混元。 很高兴在腾讯全球数字生态大会上认识你。 我是腾讯自研的通用大语言模型。 ✨自研 既然选择把关键技术握在自己手里，那大模型研发就是一场“马拉松”。 腾讯混元大模型，由腾讯从第一个token开始从零训练。算法、框架、平台全链路自研。 - 腾讯广告 智能化广告素材创作，满足千人千面，实现文、图、视频自然融合。 一段时间以来，“全面拥抱大模型”已经是腾讯的进行时。 今天，腾讯混元大模型也正式通过腾讯云对外开放。 用户可以直接调用API接口，或者将腾讯混元作为基底模型，在公有云上进行精调。 如果觉得我不错，那就加个联系方式吧！ 企业客户扫码 申请试用腾讯混元大模型 也可以扫码加入腾讯云AI官方交流社群 一张报销单引发的"吐槽大会" | 戳中打工人的爽点，3步就够了 | AI会是考试作弊的终结者吗？
82930编辑于 2023-09-09 - 来自专栏go
go调用腾讯混元大模型
go-easy-llm 点击 github go-easy-llm 查看更多 一个满足你的调用多种大模型API的轮子，支持目前市面多家第三方大模型，包含ChatGPT、通义千问、文心大模型、混元、盘古、 百川智能等； 一套写法兼容所有平台，简单配置即可灵活使用第三方大模型API。 简单几步即可使用第三方大模型API 混元大模型调用 创建密钥 点击我 进行密钥创建 通过这一步，你就会拿到腾讯的 secretId、secretKey，主要用于鉴权使用 引入go-easy-llm go your-secretKey", easyai.ChatTypeHunYuan) 创建 Chat 客户端 client := easyllm.NewChatClient(config) 调用 Chat 模式大模型 Message: "介绍一下你自己", }) for content := range resp { fmt.Println(content) } 通过以上简单几步，你就可以轻松的调用腾讯混元大模型了
37210编辑于 2024-09-02 - 来自专栏软件测试学习
腾讯混元大模型初体验
没关系，咋们国内的ai产品也层出不穷，很多公司都陆陆续续的推出了自己的ai大模型，比如阿里的通义千问，百度的文心一言，字节的豆包等等，今天让我们一起来看一下小编最近新了解到的ai大模型：腾讯混元助手。 腾讯混元助手是腾讯开发的大语言模型，今年通过备案后，腾讯混元大模型也已经面向C端用户陆续开放体验，用户通过小程序或网页端，就能与腾讯混元对话。 场景一、代码生成能力 听说混元大模型的代码能力最近有较大幅度的提升，那接下来让我们通过一个简单的案例来体验一下他的能力。 接下来让我们一起看一下混元大模型能否帮助我们去解决这个问题：(由于生成的都是以代码为主，中间过程就不记录完整的截图) prompt1：我需要保持多态测试环境的mysql表结构一致，以及批量执行建表和加字段的脚本等 场景三：画图能力 画图的话，这里主要一起对比下文心一言VS混元模型 总结：初步体验了一下，我觉得在我的日常工作中，完全可以用腾讯的混元模型去代替gpt3.5去使用的，毕竟gpt的使用有一定的门槛，而且查的数据还不是很新
1.3K10编辑于 2023-12-11 腾讯混元大模型初体验
本文将通过简单的介绍，带你入门腾讯混元大模型。混元大模型主要有两大流派：混元生文和混元生图。下面将分别进行介绍。混元大模型-混元生文界面展示点击开通之后，进入界面如下图：是不是有点懵懂不知道如何入手？ 大模型返回给你的结果，也是需要占用token的。 通过API explorer通过API explorer可以进行快速调试通过API explorer，只需要输入几个简单的参数就可以体验混元大模型了。 通过CLI调用CLI的方式也非常友好，如此easy的一条命令，就可以体验”混元大模型”。还不快来试试？！查看token使用量经过”初探”之后，token使用量是怎样的？ 混元大模型-混元生图混元生图的免费额度比较少，只有50个，要省着点用了(￣▽￣)"通过API explorer调用可以看到，”必填”的参数就只有一个，简单地说就是你想让模型帮你生成什么。
1K31编辑于 2024-10-16- 来自专栏XINDOO的专栏
从大模型的原理到提示词优化
大语言模型（后文简称LLM）已经火热了近两年，相信大家或多或少都学习过一些Prompt技巧。但你有没有思考过：为什么使用这些Prompt能得到更好的输出结果？ One-shot/Few-shot 这俩提示词技巧直白来说，其实就是给大模型一些参考样例，One-shot就是给定单个样本，Few-shot是给定多个样本。 思维链（Chain of Thought） 思维链技巧的核心是让大语言模型展示其推理过程。这种方法特别适用于需要逐步推理或复杂计算的问题。 已知苹果一斤2元、梨一斤3元、香蕉一斤4元，请按他们各自的总消费额度由高到低排序。 如果你现在询问主流的几个模型，它们都能给出推理过程以及正确答案：乙 > 丁 > 丙 > 甲。 然而，当我们限制LLM直接给出答案而不提供推理过程时，所有的大模型都会出错。如果你使用不同的模型多次尝试，你会发现在这个限制下，所有模型都是在瞎猜。
1K10编辑于 2024-10-27 - 来自专栏大语言模型
大模型不听话？试试提示词微调
想象一下，你向大型语言模型抛出问题，满心期待精准回答，得到的却是答非所问，是不是让人抓狂？在复杂分类场景下，这种“大模型不听话”的情况更是常见。 提示词微调这一利器，能帮你驯服大模型，让其准确输出所需结果。今天就来深入解析如何通过提示词工程、RAG 增强和 Few Shots 学习等核心技术，高效构建基于 LLM 的分类系统。 结构化表示法采用 XML 或 JSON 格式封装类别定义和输入文本，提升模型理解效率：# 类别定义示例<categories> <category> <label>账单查询</label 边界控制与结果约束通过明确的指令和停止序列控制模型输出范围：请根据提供的类别，对输入文本进行分类。 请根据以上信息，将输入文本分类到以下类别之一:[账单查询, 政策咨询, 理赔申请, 投诉建议, 其他]技术整合示例以下是整合提示词工程、RAG 技术和 Few Shots 学习的完整分类系统伪代码：#
34510编辑于 2025-08-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号