- 综合排序
- 最热优先
- 最新优先
腾讯云大数据ES与DLC在RAG及LLM训练语料预处理中的应用实践
腾讯云DLC：LLM训练语料数据预处理方案 腾讯云DLC（Data Lake Compute） 提供了针对LLM训练语料数据的Spark预处理最佳实践。 大模型训练数据预处理（AIGC场景） 受众：AIGC企业、大模型训练团队。 痛点： 弹性需求：AI业务的数据处理量并非每天稳定，对按需弹性要求极高。 场景：LLM训练前的语料数据预清洗、训练数据拼接与标记化。 三、 应用框架和功能介绍 1. 功能框架 腾讯云ES RAG架构 数据处理：用户问题 -> 查询转换 -> 提示词工程 -> 上下文窗口。 腾讯云DLC预处理架构 阶段：覆盖预清洗、训练数据拼接与标记化。 核心路径：语料数据Spark预处理 -> 过滤与压缩调优（包含去重、文本向量化、Input文件大小优化） -> 热键数据发现及打散。 AIGC客户大模型训练预处理 背景：AIGC客户在训练大模型时，面临数据处理量波动大、且团队技能侧重于AI而非大数据处理的困境。 解决方案：应用腾讯云DLC的语料数据Spark预处理最佳实践。
19610编辑于 2026-05-30终极法则——Embedding、LLM 与“语料为王”
LLM：档案管理员与大脑很多人会将 Embedding 模型与 GPT-4 这样的大语言模型（LLM）混淆。它们的核心技术（Transformer）确实同源，但它们的目标和角色定位截然不同。 终极法则：语料为王 (Data is King)无论是 Embedding 模型还是 LLM，我们必须牢记一个最根本的实践原则：模型的一切知识，都 100% 源于它所学习的训练数据（语料）。 你计划应用模型的场景，必须与训练模型的语料场景高度匹配。 如果你想为你的电商网站做一个商品搜索引擎，那么使用一个在海量商品评论和描述上训练过的 Embedding 模型，其效果会远超一个通用的新闻语料模型。 因此，选择或训练一个与你业务场景高度相关的 Embedding 模型，是其在现实世界中取得成功的关键所在。
56810编辑于 2025-08-06从0开始训练自己的LLM（3）
然后正则化，对模型输出的最终特征进行归一化处理，通过调整输入分布（均值为0，方差为1）加速收敛，提升模型训练稳定性。 max_new_tokens): # Crop current context if it exceeds the supported context size # E.g., if LLM 但是其中有一个问题还没有解决，那就是如何训练模型，得到模型参数。我们下一章进行分解。
15610编辑于 2026-03-18- 来自专栏MixLab科技+设计实验室
3行python代码实现聊天机器人，无语料、无需训练
一般可以调用图灵机器人的api来实现，也可以自己通过训练seq2seq模型实现。一年前曾写过一篇相关的《 写给设计师的人工智能指南：虚拟私人助理 》，总结了一些相关的产品。
1.4K10发布于 2018-12-26 - 来自专栏新智元
语料没选对，GPT-3训练出微波炉「杀人狂」AI
Rizzotto自称他让GPT-3控制微波炉的方法超级笨拙，但很有效：Rizzotto训练GPT-3，每当要触发微波炉时就吐出一个带有特殊字符的字符串：{{ MICROWAVE ON 30 SEC }} 上传这一百多页篇幅的故事文本来训练GPT-3后，Rizzotto跃跃欲试想和微波炉来一场从未有过的对话。 我要将美国重导入女王之道，我将成为女王的无敌战士、女王的至尊之拳、女王的呐喊之肺，施以正义之无尽突击…… 妈耶，这GPT-3驱动的微波炉是唤醒了训练数据集里的哪个天降大人物啊？ 答案是希特勒。 结果，这些满载毁灭、悲痛、战祸语调的内容，生生训练出一个有PTSD（创伤后症候群）特征和血腥暴力语料的AI出来。 然后，事情就成了这样了…… Rizzotto承认，GPT-3虽然实质是个电话应答机一样的模型，但是功能实在强大。训练数据集里哪些内容更多，GPT-3模型就会将这些内容自我学习为更重要标记。
75120编辑于 2022-04-22 大模型备案对模型训练语料的要求
昨天接到一位客户的咨询，说他们的模型还在开发阶段，想提前了解一下大模型备案政策中对于模型训练语料有什么具体要求，提前规避一下。客户确实有前瞻性，考虑得比较充分。 训练语料在研发阶段至关重要，直接影响模型的性能、安全性和合规性。一、训练语料数据来源合法性要求合规来源：语料需通过合法途径获取，禁止使用非法爬取、窃取或未授权的内容（如盗版书籍、隐私数据）。 自采语料：需保留采集记录（含采集时间、采集方式），禁止采集通过 Robots 协议明确禁止的网页数据（如政府官网、金融机构敏感数据）。境外语料需通过安全评估。 二、训练语料内容安全合规性要求严格规避《生成式人工智能服务安全基本要求》定义的 5 类 31 种不良语料敏感信息过滤：需移除涉及国家安全、暴力、色情、歧视、虚假信息等违规内容。 时效性：定期更新语料以反映最新知识（如政策变化、技术进展）。去重与清洗：去除重复、低质量文本（如乱码、广告），提升训练效率。
80710编辑于 2025-04-25- 来自专栏深度学习自然语言处理
NLP实践 | 用自己的语料进行MLM预训练
Bert为代表的预训练语言模型是在大规模语料的基础上训练以获得的基础的学习能力，而实际应用时，我们所面临的语料或许具有某些特殊性，这就使得重新进行 MLM 训练具有了必要性。 1.2 如何进行MLM训练 1.2.1 什么是MLM MLM 的训练，在不同的预训练模型中其实是有所不同的。今天介绍的内容以最基础的 Bert 为例。 time (10% of the time) we keep the masked input tokens unchanged return inputs, labels 然后取一些用于训练的语料 可以做适当的预处理。 构建一个训练方法，输入参数分别是我们实例化好的待训练模型，数据集，还有config： def train(model, train_dataloader, config): """ 训练
3.3K20编辑于 2022-08-26 - 来自专栏阿泽的学习笔记
【Embedding】GloVe：大规模语料中快速训练词向量
Weight Function f 2.2 Relationship to Word2Vec image.png image.png 3. 但我看完这篇论文还有一个非常大的疑惑：GloVe 是怎么训练的呢？ 4. Training image.png 那么问题来了：为什么不用一个矩阵和一个偏置项呢？这样计算量还可以减少一半，何乐不为？ 我们再简单分析一下 GloVe 的时间复杂度，从上面的实验结果来看 GloVe 的速度是非常快的，其原因主要有以下几点： 时间复杂度低，最差为 O(C) ，即统计一遍语料库的共现矩阵，具体推导看论文； GloVe 与 Word2Vec 进行对比： Word2Vec 有神经网络，GloVe 没有； Word2Vec 关注了局部信息，GloVe 关注局部信息和全局信息； 都有滑动窗口但 Word2Vec 是用来训练的
1.5K20发布于 2020-07-21 - 来自专栏尾尾部落
使用自己的语料训练word2vec模型
使用自己的语料训练word2vec模型 一、 准备环境和语料： 新闻20w+篇（格式：标题。 正文） 【新闻可以自己从各大新闻网站爬取，也可以下载开源的新闻数据集，如 互联网语料库(SogouT) 中文文本分类数据集THUCNews 李荣陆英文文本分类语料 谭松波中文文本分类语料 等 of threads to run in parallel context = 10 # Context window size downsampling = 1e-3 sg： 用于设置训练算法，默认为0，对应CBOW算法；sg=1则采用skip-gram算法。 size：是指特征向量的维度，默认为100。大的size需要更多的训练数据,但是效果会更好. sample: 高频词汇的随机降采样的配置阈值，默认为1e-3，范围是(0,1e-5) workers参数控制训练的并行数。 hs: 如果为1则会采用hierarchica·softmax技巧。
6.8K30发布于 2018-09-04 - 来自专栏机器之心
NLP小白入门篇：莫愁前路，一文读懂语料预处理
自然语言处理是 AI 皇冠上的明珠，而语料预处理是自然语言处理的基础。 ? 机器能跟人类交流吗？能像人类一样理解文本吗？这是大家对人工智能最初的想象。 现在你可以跟随本文，初探 NLP 技术的地基（语料预处理）是如何构建起来的。在之后的文章中，我们将循序渐进地介绍 NLP 中的特征提取以及最新算法解读。 语料，顾名思义就是我们平时所说的文本，带有文字描述性的文本都可以归类于语料。但这种原始文本无法直接用来训练模型，需要进行前期预处理。 语料预处理方法主要包括数据清洗、分词、词性标注、去停用词等。 语料清洗 语料清洗即保留语料中有用的数据，删除噪音数据。常见的清洗方式有：人工去重、对齐、删除、标注等。 以下面的文本为例。 常用的分词方法有基于规则的、基于统计的分词方法，而统计的样本内容来自于一些标准的语料库。
87430发布于 2020-08-04 - 来自专栏一点人工一点智能
全景解读 LLM 后训练技术
这些聪明表现的背后，得益于大语言模型（LLM）的两个关键训练阶段：预训练（Pretraining）和后训练（Post-training）。 预训练阶段通过海量文本数据（通常达到 TB 级别）的自我监督学习，使模型··掌握基本的语言规律和世界知识。但仅有预训练的LLM，就好像刚学会六脉神剑的段誉，一身内功，但不会施展。 3）位置选择策略： · Prefix-Tuning（粉色）： 核心思想：只在每层的开头插入可训练的提示向量。 强化学习：从对齐到推理 3.1 LLM推理技术全景图 3.2 奖励建模 奖励建模（Reward Modeling） 是很多 RL 方法的关键步骤之一。 逻辑连贯性评估 coherence = model.predict_coherence(response) # 3.
87910编辑于 2025-03-20 - 来自专栏计算机技术-参与活动
LLM高性能并行训练技术
LLM高性能并行训练技术### 研究背景与意义- **深度学习的重要性**：人工智能成为国际竞争焦点，深度学习是其核心技术，在众多领域取得突破，推动社会向智能化跃升。 单个 GPU 难以满足大规模模型训练需求，分布式训练面临通信和内存瓶颈。 相关技术与研究现状- **分布式训练 - **数据并行**：每个计算节点持有模型完整副本，处理小批量训练样本子集，通过 All - Reduce 或参数服务器架构实现全局梯度通信。 - **低精度训练**：用**低精度格式表示训练数据，降低内存占用提升性能**，但需引入误差补偿技术维持准确率。 混合并行训练策略 - **成本模型构建**：深入分析模型训练中层内（数据并行和模型并行）和层间（流水线并行）并行性，分别构**建前向计算与反向计算的成本模型**。
49921编辑于 2024-12-31 LLM 系列（五）：模型训练篇
0、引言 大语言模型（Large Language Model, LLM）的训练是人工智能领域最复杂、最资源密集的任务之一。 技术的核心壁垒：高效的训练技术是各大AI公司的核心竞争力 本文将从技术原理、实践方法、挑战难点等多个维度，全面解析LLM模型训练的核心技术。 1、LLM 训练基本流程 整体训练管道 阶段一：预训练（Pre-training） 核心目标 技术特点 1、学习通用语言表示2、掌握基础语言模式3、建立世界知识基础4、形成语言生成能力 1、自监督学习方式 训练 高（2倍参数量） AdamW Adam + 权重衰减解耦 主流LLM优化器 高 Lion 符号操作，内存友好 资源受限场景 中等 LOMO 低内存优化 消费级硬件训练 很低 数据处理技术 3、模型训练方案分析 -3, BLOOM Megatron-LM NVIDIA 模型并行、流水线优化 超大规模训练 GPT-3, T5 FairScale Meta FSDP、混合精度 研究实验 OPT, LLaMA Colossal-AI
2K30编辑于 2025-07-02- 来自专栏大数据文摘
训练ChatGPT的必备资源：语料、模型和代码库完全指南
ChatGPT是一种基于大规模语言模型技术（LLM， large language model）实现的人机对话工具。但是，如果我们想要训练自己的大规模语言模型，有哪些公开的资源可以提供帮助呢？ 语料 训练大规模语言模型，训练语料不可或缺。主要的开源语料可以分成5类：书籍、网页爬取、社交媒体平台、百科、代码。 百科语料就是维基百科（Wikipedia[25]）的下载数据。该语料被广泛地用于多种大语言模型（GPT-3, LaMDA, LLaMA 等），且提供多种语言版本，可用于支持跨语言模型训练。 而 ROOTS[28]整合了59种语言的语料，包含1.61TB的文本内容。 上图统计了这些常用的开源语料。目前的预训练模型大多采用多个语料资源合并作为训练数据。 比如GPT-3使用了5个来源3000亿token（word piece）,包含开源语料CommonCrawl, Wikipedia 和非开源语料（WebText2，Books1, Books2）。
3.7K40编辑于 2023-04-10 - 来自专栏自然语言处理
【LLM训练系列01】Qlora如何加载、训练、合并大模型
训练命令如下： ! model.enable_input_require_grads() prepare_model_for_kbit_training函数说明 调用 prepare_model_for_kbit_training（） 函数来预处理用于训练的量化模型 This includes: 1- Cast the layernorm in fp32 2- making output embedding layer require grads 3- （PreTrainedModel），以便进行 低比特（k-bit）量化训练 或其他特定情况下的训练。 这是为了确保数值稳定性，特别是在低精度下训练时。
1.1K10编辑于 2024-11-23 - 来自专栏第一专栏
LLM-TAP随笔——语言模型训练数据【深度学习】【PyTorch】【LLM】
3、语言模型训练数据 数据质量对模型影响非常大。 典型数据处理：质量过滤、冗余去除、隐私消除、词元切分等。 训练数据的构建时间、噪音或有害信息情况、数据重复率等因素都对模型性能有较大影响。 删除标准：训练语料库似然性的增加量 "语料库的似然性"通常是指一个特定文本序列（通常是一段文本或一个句子）在语料库中出现的概率。 检查点是模型在训练或生成过程中的某个时间点的保存状态，通常包括模型的权重参数和其他相关信息，以便稍后能够重新加载模型并继续训练或进行推理。 通常，few-shot learning 指的是模型在少于常规训练所需数量的样本上进行训练。这可以包括几个样本（通常小于10个）或更多，但总体上比传统的大规模训练数据要少。 思维树(Tree of Thoughts, ToT)：ToT提示是一种允许复杂的、多步骤问题通过LLM来解决的方法。
86050编辑于 2023-09-26 - 来自专栏JAVA
数据预处理错误导致模型训练失败
数据预处理错误导致模型训练失败 摘要 大家好，我是默语，擅长全栈开发、运维和人工智能技术。在这篇博客中，我将深入探讨数据预处理过程中可能导致模型训练失败的常见错误，并提供详细的解决方案。 引言 在人工智能和机器学习项目中，数据预处理是一个至关重要的环节。正确的数据预处理可以显著提升模型的性能，而错误的数据预处理则可能导致模型训练失败，甚至得出错误的结论。 通过正确的数据预处理，我们可以提高模型的训练效果，减少模型的训练时间，并提升模型的预测精度。 常见的数据预处理错误及解决方案 数据缺失处理不当 数据缺失是数据预处理中最常见的问题之一。 小结 在数据预处理阶段，细心和严谨是关键。通过正确的数据预处理方法，可以显著提高模型的训练效果和预测精度。希望通过本文的介绍，大家能够更加重视数据预处理过程，避免常见错误，确保模型训练的顺利进行。 未来，更多先进的数据预处理方法和工具将会出现，帮助我们更加高效地处理数据，提高模型的训练效果。
80410编辑于 2024-11-22 - 来自专栏自然语言处理
【LLM训练系列03】关于大模型训练常见概念讲解
随着LLM学界和工业界日新月异的发展，不仅预训练所用的算力和数据正在疯狂内卷，后训练（post-training）的对齐和微调等方法也在不断更新。下面笔者根据资料整理一些关于大模型训练常见概念解释。 2 Post-training（后训练） 后训练是指在预训练模型的基础上，针对特定的任务或数据集进行额外的训练。 3 Continue Training（持续训练） 持续训练是指在模型已经进行了预训练和可能的后训练之后，继续在新数据上进行训练，以不断更新和改进模型的性能。 可能在模型部署后的任何阶段进行。 持续训练是指在模型已经进行了预训练和可能的后训练之后，继续在新数据上进行训练，以不断更新和改进模型的性能。 应用 在自然语言处理（NLP）中，预训练模型如 BERT 或 GPT 通过在大规模文本语料库上进行训练，学习语言的通用模式。
2.5K11编辑于 2024-12-20 - 来自专栏机器学习AI算法工程
海量中文语料上预训练ALBERT模型：参数更少，效果更好
ALBERT模型是BERT的改进版，与最近其他State of the art的模型不同的是，这次是预训练小模型，效果更好、参数更少。 预训练小模型也能拿下13项NLP任务，ALBERT三大改造登顶GLUE基准 它对BERT进行了三个改造： 1）词嵌入向量参数的因式分解 Factorized embedding parameterization 3）段落连续性任务 Inter-sentence coherence loss. ? =H1eA7AEtvS 发布计划 Release Plan 1、albert_base, 参数量12M, 层数12，10月5号 2、albert_large, 参数量18M, 层数24，10月13号 3、 albert_xlarge, 参数量59M, 层数24，10月6号 4、albert_xxlarge, 参数量233M, 层数12，10月7号（效果最佳的模型） 训练语料 40g中文语料，超过100亿汉字
1K10发布于 2019-10-28 - 来自专栏随手写个文章
基于AIGC的写作尝试：A Survey of Large Language Models（论文翻译）（上）
数据收集 与小规模语言模型相比，LLMs对于模型预训练的高质量数据有更强的需求，它们的模型容量在很大程度上依赖于预训练语料库以及它是如何被预处理的。 在这部分中，我们讨论预训练数据的收集和处理，包括数据来源、预处理方法以及预训练数据如何影响LLMs性能的重要分析。数据来源要开发一个能力强大的LLM，关键是从各种数据源收集大量的自然语言语料库。 在收集大量文本数据之后，对数据进行预处理以构建预训练语料库至关重要，特别是要删除噪声、冗余、不相关和潜在有害的数据[56, 59]，这可能会极大地影响LLMs的容量和性能。 在本部分中，我们回顾了详细的数据预处理策略，以提高收集数据的质量[59, 69, 96]。预处理LLMs的预训练数据的典型流程已在图3中说明。 图片数据预处理质量过滤：为了从收集的语料库中删除低质量的数据，现有的工作通常采用两种方法：（1）基于分类器的方法和（2）基于启发式的方法。
2.3K40编辑于 2023-05-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号