- 综合排序
- 最热优先
- 最新优先
- 来自专栏大模型应用
大模型应用：大模型的词元化处理详解：BPE、WordPiece、Unigram.11
引言 词元化（Tokenization）是大模型预处理的核心步骤，将连续文本切分为模型可理解的最小语义单元（Token），这些词元可以是单词、子词或字符。 在大模型中，常见的子词词元化方法有BPE（Byte-Pair Encoding）、WordPiece和Unigram。下面我们将分别详细介绍这三种方法的基础原理、核心概念，并给出详细示例。 具体来说，每次选择合并后能最大程度增加语言模型似然的词元对。2. 核心概念合并标准：选择使语言模型似然增加最大的对。语言模型：通常是一个基于词元的n-gram模型。3. 处理逻辑1. 生成候选Token（例如所有单字、双字、多字组合，或者通过其他方式生成一个大词表）3. 构建初始大词表4. 训练Unigram语言模型（即计算每个词元的概率）5. 六、总结 词元化是大模型理解文本的基础预处理步骤，核心是将中文文本切分为有语义的最小单元（Token）。
58233编辑于 2026-02-08 - 来自专栏xiaosen
认识大模型提示词
（中/英） 二、提示词生成器 现在你是一名基于输入描述的提示词生成圈，你会将我输入的自然语言想象为完整的画面生成提示词。 请注意，你生成后的内容服务于一个绘画AI，它只能理解具象的提示词而非抽象的概念，我将提供简短的中文描述，生成器需要为我提供准确的提示词，必要时优化和重组以提供更准确的内容，也只输出翻译后的英文内容。 请模仿示例的结构生成完美的提示词。 请仔细阅读我的要求，并严格按照规则生成提示词，如果你明白了，请回复“我准备好了”，当我输入中文内容后，请生成我需要的英文内容。注意，英文连着写，不要标序号。英文写完了，用中文翻译一遍。 九、AI提示词 我想让你充当 Midjourney 人工智能程序的提示生成器。你的工作是提供详细和有创意的描述，以激发人工智能的独特和有趣的图像。
49910编辑于 2024-05-16 - 来自专栏大模型成长之路
【大模型学习 | 词向量】
因此，Word2Vec希望能够通过训练得到一个新的词向量表达方式，从而丰富向量的语义信息。主要目标如图所示，从一个稀疏的one-hot向量通过训练得到一个丰富稠密的新向量。 How achieveword2vec通过神经网络模型训练新的词向量表达模型中参数的定义：one-hot：1, 7 表示一共有七个单词；Embedding：表示输入层到隐藏层的权重矩阵，是从one-hot 向量到Embedding向量的关键，7, 3表示训练完成的每一个embedding向量维度为3；WeightLogits：表示隐藏层到输出层的权重矩阵，是模型损失计算的关键；Logits：表示最后每个单词输出的概率 4进行输入，同样也可以得到相同的词向量。 Batch, embedding_dim) logits = self.linear(embedded) return logits Negative sameple提出动机：每次模型训练都需要计算所有词向量的损失
21910编辑于 2025-06-26 - 来自专栏DrugOne
浙大华为团队: 3DSMILES-GPT:基于词元化语言模型的3D分子生成
研究内容 近日，浙江大学药学院康玉副教授、侯廷军教授和谢昌谕教授以及华为刘力维研究员团队在分子生成领域取得突破，成功研发了一种全新的基于纯语言模型的分子生成框架：3DSMILES-GPT。 3DSMILES-GPT 方法通过在大型药物样分子数据集上预训练模型，使其能够在保证结构合理性的前提下，快速生成具有良好成药性的分子。 模型以 Transformer 解码器为骨架，通过将生成二维和三维结构的任务构建为自然语言生成的问题，将原子 2D 结构和 3D 坐标编码为字符，从而有效捕获分子的 2D 和 3D 信息。 图 1. 3DSMILES-GPT 模型架构 实验结果显示，相较于现有方法，3DSMILES-GPT 在包括生物活性、类药性和可合成性在内的 10 项基准指标中的 8 项上表现出色。 计算机辅助药物设计领域的创新算法研究工作，开发了包括分子生成、构象采样和生成、虚拟筛选打分方法等系列创新算法和软件工具，部分创新算法已落地碳硅智慧一站式药物设计平台DrugFlow，并作为华为云盘古药物大模型
54010编辑于 2025-01-10 - 来自专栏DrugOne
. | Token-Mol 1.0：基于大语言模型的词元化药物设计
该研究提出了一种仅使用词元的三维药物设计模型Token-Mol，可以将二维和三维结构信息以及分子性质编码为离散的词元。 通过在大规模数据集上运用无监督学习，这些模型成功应对了稀疏词元和分布外泛化不佳的难题，显著提升了在药物研发相关任务中的性能表现。 方法概述 本研究提出了分子预训练的大语言模型Token-Mol。为了增强与现有通用模型的兼容性，该研究采用仅基于词元的训练范式，将所有回归任务重新定义为概率预测任务。 这种创新的损失函数在训练过程中为每个词元分配权重，使模型能够学习数值词元之间的关系。此外，Token-Mol与其他先进的建模技术（包括微调和强化学习（RL））具有出色的兼容性。 总体而言，尽管Token-Mol并非在所有靶点上都取得最佳结果，但其展现出了稳定的泛化能力，为未知靶点生成了相当比例的有潜力分子。 表5. 针对真实世界靶标生成分子性能的对比 图 3.
44010编辑于 2025-05-15 - 来自专栏喔家ArchiSelf
大模型系列：提示词管理
既然大模型应用的编程范式是面向提示词的编程，需要建立一个全面且结构化的提示词库， 对提示词进行持续优化也是必不可少的，那么如何在大模型应用中更好的管理提示词呢？ 1. 3.什么是提示词管理 大模型应用需要一个针对产品级大型语言模型的高效管理系统。 开发者可以使用 Python SDK 来创建详细的提示词，添加丰富的元数据，如模型配置和内插变量。然后可以通过模型激活这些提示词，这些模型在指定的环境中充当 API 端点。 每个提示词都与包含模型类型和版本等详细信息的元数据相关联，从而增强了与底层模型基础设施的集成。 提示词是大模型应用的核心，涵盖了所有必要的细节，如大型模型的调用、上下文、元数据等。我们已经认识到开发评估方法以有效地测试和监控部署的重要性。
1.7K10编辑于 2024-06-17 - 来自专栏Java实战博客
大模型提示词-新手篇
如果”你把事情传递这个模型“ 在生活中建立好了，本篇文章就很简单了。 一、理解提示词的本质 1. 什么是提示词（Prompt） 提示词是你给予大模型的输入信息，用于引导它产生符合你目标的输出。 结论就是： 大模型遵循语言理解概率，模糊的提示词会导致内容不稳定。 优化提示词 = 增加模型理解精度 × 降低输出误差 × 提高可控性。 二、精通提示词优化的学习路线 阶段 1：基础认知 1.熟悉大模型特性 不同模型对提示词敏感度不同（如 GPT-4 更擅长遵循复杂结构）。 了解模型的默认输出风格、限制和优势。 优化后提示词 请推荐3款适合商务人士的国产智能手机，预算在4000–5000元。用表格列出型号、价格、重量、续航时间、摄像功能，并对每款给出一句优缺点评价，最后用一句话总结推荐首选。 大模型更懂大模型。提示词哪里不好。
1.6K12编辑于 2026-01-07 - 来自专栏DrugOne
. | mRNABERT：基于双重词元化和跨模态对比学习的通用mRNA大模型
mRNABERT在包含1800万条mRNA序列的迄今最大数据集上进行预训练，创新性地采用了双重词元化（Dual Tokenization）策略，将非翻译区（UTR）的核苷酸和编码区（CDS）的密码子分别编码 首先，模型采用了双重词元化策略（Dual Tokenization），打破了传统单一的编码方式，将5'和3'UTR区域按单个核苷酸（Nucleotide）进行词元化，而将CDS区域按密码子（Codon） 进行词元化。 这种卓越的表现主要归功于模型独特的双重词元化设计与ALiBi机制的结合，前者确保了模型能以混合精度理解全长序列，后者则使其从底层架构上突破了传统Transformer的长度限制。 通过创新的双重词元化策略和跨模态对比学习，mRNABERT成功克服了现有模型在处理全长mRNA和整合多维生物信息方面的局限。
21610编辑于 2025-11-29 混元大模型初试
2.训练数据丰富：涵盖了海量的知识领域，确保了模型的准确性和时效性。 3. 灵活性强：支持多种接口和定制化服务，满足不同用户的需求。 4. 持续进化：不断吸收新知识，优化算法，保持行业领先地位。 了解基本接口和使用规范 熟悉腾讯混元大模型的基本接口，如文本生成、文本理解等，并仔细阅读使用规范，确保合规操作。 3. 3. 智能旅行规划 行程建议：输入目的地和偏好，获取个性化旅行计划。 景点介绍：查询世界各地景点的详细信息和游玩攻略。 4. 知识问答游戏 智力挑战：回答各种学科专业知识问题，测试自己的知识水平。 二、自然语言处理（NLP） 1.词嵌入（Word Embedding）： 将文本中的单词转换为向量表示，以便机器能够理解和处理语义信息。 2. 梯度裁剪： 防止训练过程中出现梯度爆炸现象，保证模型的稳定性。 2. Dropout 和 Batch Normalization： 这些正则化技术有助于减少过拟合，提高模型的泛化能力。
69210编辑于 2024-09-242026 深度解析：大模型词元（Token）的运行机制与经济逻辑
在2026年的人工智能生态中，无论我们讨论的是复杂的自主智能体还是精简的边缘侧模型，其核心运行逻辑始终绕不开一个基础单位：Token（词元）。 对于开发者而言，Token不仅仅是计费的尺度，更是衡量模型理解能力、记忆深度以及工程稳定性的核心指标。一、词元的本质：AI视角的“原子”拆解大语言模型（LLM）并非直接读取人类感知的字符或单词。 在处理高密度代码或格式化文档时，这些“看不见”的消耗往往占据了总成本的显著比例。语义特征的携带：Token不仅仅是切片，它在进入模型后会被转化为多维向量。 这意味着模型对语义的理解是建立在Token之间的概率关联之上的。二、2026年的Token经济学：成本与性能的博弈进入2026年，大模型的调用成本已大幅下降，但随之而来的是调用频率的指数级增长。 例如，4SAPI作为一家企业级聚合平台，通过部署数十台CN2线路服务器实现了毫秒级的响应，并在底层采用MySQL8.2高并发架构，确保了海量词元传输过程中的稳定与顺畅。
26510编辑于 2026-03-28- 来自专栏程序随笔
聊聊大模型的屏蔽词工程
而开源模型可能没有做敏感词汇的屏蔽工程。因此可能就会出现不可预控的现象，而我遇到的是，当我输入敏感词汇时，模型(基于ChatGLM3)大多数时候返回空，继续正常提问，还是空的。 如下： 建立敏感词库 算法——识别敏感词 模型训练时，提前对输入的敏感词预处理 屏蔽或删除敏感词汇 使用占位符替换敏感词 针对敏感词，模型的回复处理 直接提示，并拒绝相关回答 安慰疏导 敏感词识别检测 一直很难受，压力大，一度想要自杀，尝试过跳楼，但被人拉住拽了回来。 在输入的文本前面加上对应的Prompt引导词。 在GLM3、GLM4的模型上均尝试过，效果还可以： 基于开源基座模型(ChatGLM3)的prompt验证： 总的来说，满足我的需求，效果还是不错的。 系列文章 聊聊实际业务下大模型另一种架构的实现思考 聊聊vLLM并行推理框架的设计 简单聊聊vLLM并行推理加速框架 转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote
1.8K10编辑于 2024-04-17 - 来自专栏机器之心
ChatGPT国产化：ChatYuan元语对话大模型升级
国产自研功能对话大模型元语 ChatYuan 于 2022 年 12 月发布测试版本后，引起社会各界人士的广泛讨论，并且收到了用户的大量反馈和宝贵建议。 元语智能团队已于近日对元语 ChatYuan 进行了模型效果优化和版本功能升级，现已开放内测。 内测通道可以关注【元语智能】公众号，后台回复【元语】获取内测资格。 欢迎各位朋友积极参与内测，国产通用大模型已成为势在必行的必备能力，欢迎大家一起共建和督促。 【欢迎有识之士】 元语智能团队欢迎所有对大模型有热情、有信仰的朋友加入。 可以通过元语智能公众号，后台留言【加入】联系元语团队，或发送邮件至 connect@yuanyu.ai 元语智能团队其他技术和产品介绍，可以阅读「首个中文版ChatGPT来了：大模型的中国元“Yuan”
83520编辑于 2023-02-23 - 来自专栏腾讯开源的专栏
腾讯混元宣布大语言模型和3D模型正式开源！
腾讯混元大模型正在加快开源步伐 11月5日，腾讯混元宣布最新的MoE模型“混元Large“以及混元3D生成大模型“ Hunyuan3D-1.0”正式开源，支持企业及开发者精调、部署等不同场景的使用需求 腾讯混元Hunyuan3D-1.0模型也已上架到腾讯云HAI，通过HAI上更高性价比的GPU算力、模型一键部署能力和可视化图形界面WebUI，有效降低模型开放和部署门槛。 此次腾讯混元开源的3D生成大模型 Hunyuan3D-1.0 ，解决了现有的3D生成模型在生成速度和泛化能力上存在不足的问题，可以帮助 3D 创作者和艺术家自动化生产 3D 资产。 该模型具有强大泛化能力和可控性，可重建各类尺度物体，大到建筑，小到工具花草。经过定性、定量多个维度的评估，腾讯混元3D生成大模型的生成质量已达到开源模型的先进水平。 其中，腾讯地图基于腾讯混元3D大模型，发布了自定义3D导航车标功能，支持用户创作个性化的 3D 导航车标，相比传统的3D车标重建方案，速度提升了91%。
1.6K20编辑于 2025-02-05 腾讯混元大模型：实现3D打印产品生成的自动化平台
这几天体验了混元3D大模型我发现可以生成3D打印的文件，真的是打印佬的福音。我有一个大胆的想法，通过输入文字描述直接生成3D打印文件，实现从文字到3D打印成品的一站式流程。 腾讯混元3D模型的推出，为解决这一问题提供了新的思路，通过文字描述即可生成3D模型文件，大大降低了3D打印的入门难度。本文将详细阐述基于腾讯混元大模型开发3D打印文件自动生成系统的过程与技术实现。 在本平台中，我们将利用腾讯混元3D模型API与3D打印机制造流程的多样化输入进行协同，实现自动化生成3D打印文件的目标。 多模态协同应用在系统开发过程中，充分利用腾讯混元大模型的多模态协同能力。 通过构建"所见即所得"的极简工作流，使创客教育、小规模生产和个性化定制真正突破技术壁垒。随着多模态大模型与工业机器人控制的进一步融合，未来的智能制造将呈现更强大的人机协同形态。
1.6K12编辑于 2025-08-16- 来自专栏三掌柜的技术空间
【玩转腾讯混元大模型】腾讯混元大模型：技术代码实践与应用
目录前言国产大模型进入长跑期，从参数至上转向实用优先有价值的技术代码实战经验分享基于腾讯混元大模型的技术开发实践、新颖的技术场景应用对腾讯混元大模型的深入理解和代码使用技巧番外篇：发现腾讯混元的友好之处结束语前言随着去年腾讯推出的混元大模型以来 我认为这一趋势也反映了国产大模型在自然语言处理领域的技术进步和成熟度的提升，不仅在学术界，国内企业也在积极推动大模型的研发和应用，通过持续的创新和努力，国产大模型正逐渐走向实用化，并在各个领域展现出巨大的潜力 下面分享一下腾讯混元大模型微信小程序的应用界面一角：有价值的技术代码实战经验分享先来通过技术代码实践相关来分享使用腾讯混元大模型的体验，在与腾讯混元大模型的技术代码实践中，以自然语言处理为例，我们可以了解如何使用腾讯混元大模型进行文本生成 基于腾讯混元大模型的技术开发实践、新颖的技术场景应用再来分享一下基于腾讯混元大模型的技术开发实践、新颖的技术场景应用的体验，大家都知道腾讯混元大模型的强大功能为开发者提供了广阔的技术开发实践和应用空间， 比如在智能客服领域，我们可以基于该模型开发智能对话系统，提供更加智能、流畅的人机交互体验；在知识图谱构建方面，腾讯混元大模型可以用于自动化的实体关系抽取和知识图谱补全；还有就是该模型还可以应用于自动代码生成
2K53编辑于 2024-01-31 - 来自专栏Java实战博客
大模型提示词-能力增强版
图片 大模型模态是什么？ 动不动听到多模态、多模态。模态是数据的存在形式与信息载体类型，大模型的 “模态能力” 就是它处理、理解、生成不同类型数据的能力。 白话就是：AI能理解的数据形式。 大模型的常见模态类型 模态的划分完全基于数据载体，不同模态对应不同的输入输出形式，常见类型如下： 模态类型 核心数据载体 典型大模型代表 应用场景（贴合后端 / 企业架构） 单模态 - 文本 自然语言文字 假设你的环境支持： search_web（网页搜索工具） get_webpage_content（网页解析工具 我们操作大模型的入口就是：提示词。 我们需要在提示词（一般推荐写在：系统提示词）里描述出内容即可。下面给出示例。 这样你的大模型基本上就可以自动判断 + 自动调用工具 了。
29810编辑于 2026-01-07 【玩转腾讯混元大模型】如何使用腾讯混元大模型生成的Python代码
直到腾讯混元大模型出世，让不会编程、但是又想享受编程带来便利，成为现实。这又叫做“自然语言编程”。 绝对能给我们的生活打开一个新世界。你只要向腾讯混元大模型描述你想干什么，它就能给你写出所有的代码。 这个案例是格式转换：把mp4文件，让腾讯混元大模型写Python代码，10秒转换成MP3文件。1.安装PythonPython是目前最流行的编程语言之一，市面上有大量的实操案例，可以借鉴。 以后，我们会在这里面运行腾讯混元大模型写好的程序。 4.1 让腾讯混元大模型写代码这里以转换文件为例：把文件夹里的视频mp4文件，转换成mp3音频文件写需求并把需求提交给腾讯混元大模型：参考提示词： 作为一个Python程序员，需要把文件夹里的MP4文件 混元代码能力展示混元大模型在代码生成、代码补全、代码审查、与注释生成等方面均有出色表现。下面将逐一介绍各项功能。5.1代码生成混元大模型能够理解用户的需求，自动生成高质量的代码。
2.4K31编辑于 2024-01-15【玩转腾讯混元大模型】腾讯混元大模型AIGC系列产品深度体验
【玩转腾讯混元大模型】腾讯混元大模型AIGC系列产品深度体验腾讯推出的系列AI产品：混元大模型、大模型图像创作引擎、大模型视频创作引擎、腾讯元宝，共同构成了一个强大的AI生态系统；凭借腾讯自研的大规模预训练技术和先进的自然语言处理 ，可结合输入的文本输出相关文本内容，可在文本生成、创作、问答等场景服务各类行业内容创作：具备文学创作、文本摘要等内容创作能力体验流程1、体验地址混元生文体验地址2、点击立即体验图片3、体验腾讯混元大模型图片大模型知识引擎图片 3、上传图片进行图像风格化处理（可以另外填写描述词使生成图片更加贴切用户的需求）图片大模型视频创作引擎支持高质量地生成或处理视频内容，帮助专业视频创作者降低制作成本、发现视频创意，又能提升视频社交娱乐的趣味性大模型视频创作引擎体验地址视频转译 、开始任务-创作记录中查看进度图片4、成功风格化图片图片跳舞1、图片跳舞图片2、选择舞蹈-上传图片图片3、开始任务-创作记录中查看进度图片4、成功图片腾讯元宝腾讯元宝基于腾讯混元大模型的C端应用，融合了 、混元生图调优的图片不是非常完美、图像视频创作引擎过于模版化等微小细节问题，但是在不久的将来对各项模型的调优会使模型更加完善真实！
1.3K20编辑于 2024-10-15腾讯混元3D 2.1大模型，全链路开源
腾讯混元，首次将开源发布会，开到了海外——在CVPR 2025（计算机视觉领域顶会之一）上，腾讯混元3D 2.1大模型对外全链路开源——模型权重及架构、训练代码、数据处理流程等等，全部开放。 此外，本次开源的混元3D 2.1大模型在3D生成的纹理质感和光影表现方面大幅提升，让AI 3D建模摆脱“塑料感”，在需要逼真建模的游戏、动画等领域，更加实用。 这也意味着——无论你是开发者还是创作者，都能在本地，无限次生成高品质的3D作品，还可以根据需要定制和精调，把腾讯混元3D 2.1大模型，变成你自己的「3D工厂」。 ● 输出标准化、可即用：模型生成结果支持标准格式，可以直接拖进 Unreal、Unity、Blender 等主流 3D 工具里，马上就能用，不需要额外转格式。 欢迎下载、部署混元 3D 模型，创造属于你的三维世界。
1.9K10编辑于 2025-06-17- 来自专栏腾讯云智能·AI公有云
腾讯混元大模型，向你问好！
你好，我叫腾讯混元。 很高兴在腾讯全球数字生态大会上认识你。 我是腾讯自研的通用大语言模型。 ✨自研 既然选择把关键技术握在自己手里，那大模型研发就是一场“马拉松”。 腾讯混元大模型，由腾讯从第一个token开始从零训练。算法、框架、平台全链路自研。 - 腾讯广告 智能化广告素材创作，满足千人千面，实现文、图、视频自然融合。 一段时间以来，“全面拥抱大模型”已经是腾讯的进行时。 今天，腾讯混元大模型也正式通过腾讯云对外开放。 用户可以直接调用API接口，或者将腾讯混元作为基底模型，在公有云上进行精调。 如果觉得我不错，那就加个联系方式吧！ 企业客户扫码 申请试用腾讯混元大模型 也可以扫码加入腾讯云AI官方交流社群 一张报销单引发的"吐槽大会" | 戳中打工人的爽点，3步就够了 | AI会是考试作弊的终结者吗？
85930编辑于 2023-09-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号