- 综合排序
- 最热优先
- 最新优先
腾讯云大数据ES与DLC在RAG及LLM训练语料预处理中的应用实践
腾讯云DLC：LLM训练语料数据预处理方案 腾讯云DLC（Data Lake Compute） 提供了针对LLM训练语料数据的Spark预处理最佳实践。 大模型训练数据预处理（AIGC场景） 受众：AIGC企业、大模型训练团队。 痛点： 弹性需求：AI业务的数据处理量并非每天稳定，对按需弹性要求极高。 场景：LLM训练前的语料数据预清洗、训练数据拼接与标记化。 三、 应用框架和功能介绍 1. 功能框架 腾讯云ES RAG架构 数据处理：用户问题 -> 查询转换 -> 提示词工程 -> 上下文窗口。 腾讯云DLC预处理架构 阶段：覆盖预清洗、训练数据拼接与标记化。 核心路径：语料数据Spark预处理 -> 过滤与压缩调优（包含去重、文本向量化、Input文件大小优化） -> 热键数据发现及打散。 AIGC客户大模型训练预处理 背景：AIGC客户在训练大模型时，面临数据处理量波动大、且团队技能侧重于AI而非大数据处理的困境。 解决方案：应用腾讯云DLC的语料数据Spark预处理最佳实践。
19610编辑于 2026-05-30从0开始训练自己的LLM（4）
前面我们介绍了构建LLM的完整流程，现在我们将所有流程串接起来，并开始训练整个模型。 # In practice, this is not a problem since the LLM (chapters 4-7) ensures that inputs
15910编辑于 2026-03-18终极法则——Embedding、LLM 与“语料为王”
LLM：档案管理员与大脑很多人会将 Embedding 模型与 GPT-4 这样的大语言模型（LLM）混淆。它们的核心技术（Transformer）确实同源，但它们的目标和角色定位截然不同。 终极法则：语料为王 (Data is King)无论是 Embedding 模型还是 LLM，我们必须牢记一个最根本的实践原则：模型的一切知识，都 100% 源于它所学习的训练数据（语料）。 你计划应用模型的场景，必须与训练模型的语料场景高度匹配。 如果你想为你的电商网站做一个商品搜索引擎，那么使用一个在海量商品评论和描述上训练过的 Embedding 模型，其效果会远超一个通用的新闻语料模型。 因此，选择或训练一个与你业务场景高度相关的 Embedding 模型，是其在现实世界中取得成功的关键所在。
56810编辑于 2025-08-06大模型备案对模型训练语料的要求
昨天接到一位客户的咨询，说他们的模型还在开发阶段，想提前了解一下大模型备案政策中对于模型训练语料有什么具体要求，提前规避一下。客户确实有前瞻性，考虑得比较充分。 训练语料在研发阶段至关重要，直接影响模型的性能、安全性和合规性。一、训练语料数据来源合法性要求合规来源：语料需通过合法途径获取，禁止使用非法爬取、窃取或未授权的内容（如盗版书籍、隐私数据）。 自采语料：需保留采集记录（含采集时间、采集方式），禁止采集通过 Robots 协议明确禁止的网页数据（如政府官网、金融机构敏感数据）。境外语料需通过安全评估。 二、训练语料内容安全合规性要求严格规避《生成式人工智能服务安全基本要求》定义的 5 类 31 种不良语料敏感信息过滤：需移除涉及国家安全、暴力、色情、歧视、虚假信息等违规内容。 时效性：定期更新语料以反映最新知识（如政策变化、技术进展）。去重与清洗：去除重复、低质量文本（如乱码、广告），提升训练效率。
80710编辑于 2025-04-25- 来自专栏时空探索之旅
WWW 2026 | LLM×Graph论文总结【LLM4Graph & Graph4LLM】
笔者将LLM和Graph结合的工作分为两大类，一类是LLM4Graph，即LLM做图任务。 另外一类是利用Graph4LLM，即利用图这种格式来增强LLM的能力。 LLM4Graph1. Disentangled Graph LLM for Molecule Graph Editing under Distribution Shifts4. VL-KGE: Vision-Language Models Meet Knowledge Graph EmbeddingGraph4LLM22. ，RAG 推荐阅读 ICLR 2026 | LLM×Graph论文总结【LLM4Graph与Graph4LLM】 ICLR 2026 | Rebuttal前 图基础模型(GFM)&文本属性图(TAG)高分论文
55010编辑于 2026-03-10 - 来自专栏深度学习自然语言处理
NLP实践 | 用自己的语料进行MLM预训练
Bert为代表的预训练语言模型是在大规模语料的基础上训练以获得的基础的学习能力，而实际应用时，我们所面临的语料或许具有某些特殊性，这就使得重新进行 MLM 训练具有了必要性。 1.2 如何进行MLM训练 1.2.1 什么是MLM MLM 的训练，在不同的预训练模型中其实是有所不同的。今天介绍的内容以最基础的 Bert 为例。 self.save_path = save_path 接着就是设置各种配置： config = Config() config.mlm_config() config.training_config(batch_size=4, time (10% of the time) we keep the masked input tokens unchanged return inputs, labels 然后取一些用于训练的语料 可以做适当的预处理。
3.3K20编辑于 2022-08-26 - 来自专栏阿泽的学习笔记
【Embedding】GloVe：大规模语料中快速训练词向量
但我看完这篇论文还有一个非常大的疑惑：GloVe 是怎么训练的呢？ 4. Training image.png 那么问题来了：为什么不用一个矩阵和一个偏置项呢？这样计算量还可以减少一半，何乐不为？ 我们再简单分析一下 GloVe 的时间复杂度，从上面的实验结果来看 GloVe 的速度是非常快的，其原因主要有以下几点： 时间复杂度低，最差为 O(C) ，即统计一遍语料库的共现矩阵，具体推导看论文； GloVe 与 Word2Vec 进行对比： Word2Vec 有神经网络，GloVe 没有； Word2Vec 关注了局部信息，GloVe 关注局部信息和全局信息； 都有滑动窗口但 Word2Vec 是用来训练的
1.5K20发布于 2020-07-21 - 来自专栏尾尾部落
使用自己的语料训练word2vec模型
使用自己的语料训练word2vec模型 一、 准备环境和语料： 新闻20w+篇（格式：标题。 正文） 【新闻可以自己从各大新闻网站爬取，也可以下载开源的新闻数据集，如 互联网语料库(SogouT) 中文文本分类数据集THUCNews 李荣陆英文文本分类语料 谭松波中文文本分类语料 等 word2vec模型 使用python的gensim包进行训练。 # model.train(more_sentences) if __name__ == "__main__": main() 参数说明 sentences：可以是一个·ist，对于大语料集 sg： 用于设置训练算法，默认为0，对应CBOW算法；sg=1则采用skip-gram算法。 size：是指特征向量的维度，默认为100。大的size需要更多的训练数据,但是效果会更好.
6.8K30发布于 2018-09-04 - 来自专栏机器之心
NLP小白入门篇：莫愁前路，一文读懂语料预处理
自然语言处理是 AI 皇冠上的明珠，而语料预处理是自然语言处理的基础。 ? 机器能跟人类交流吗？能像人类一样理解文本吗？这是大家对人工智能最初的想象。 现在你可以跟随本文，初探 NLP 技术的地基（语料预处理）是如何构建起来的。在之后的文章中，我们将循序渐进地介绍 NLP 中的特征提取以及最新算法解读。 语料，顾名思义就是我们平时所说的文本，带有文字描述性的文本都可以归类于语料。但这种原始文本无法直接用来训练模型，需要进行前期预处理。 语料预处理方法主要包括数据清洗、分词、词性标注、去停用词等。 语料清洗 语料清洗即保留语料中有用的数据，删除噪音数据。常见的清洗方式有：人工去重、对齐、删除、标注等。 以下面的文本为例。 常用的分词方法有基于规则的、基于统计的分词方法，而统计的样本内容来自于一些标准的语料库。
87430发布于 2020-08-04 - 来自专栏一点人工一点智能
全景解读 LLM 后训练技术
这些聪明表现的背后，得益于大语言模型（LLM）的两个关键训练阶段：预训练（Pretraining）和后训练（Post-training）。 预训练阶段通过海量文本数据（通常达到 TB 级别）的自我监督学习，使模型··掌握基本的语言规律和世界知识。但仅有预训练的LLM，就好像刚学会六脉神剑的段誉，一身内功，但不会施展。 · QLoRA： 核心思想：QLoRA（Quantized LoRA）将4-bit量化与LoRA相结合，以进一步降低显存占用。 实现方式：QLoRA首先将预训练模型的权重量化为4-bit精度，然后在此基础上应用LoRA。由于4-bit量化可以显著降低显存占用，因此QLoRA可以在有限的GPU资源上微调更大的模型。 强化学习：从对齐到推理 3.1 LLM推理技术全景图 3.2 奖励建模 奖励建模（Reward Modeling） 是很多 RL 方法的关键步骤之一。
87910编辑于 2025-03-20 - 来自专栏计算机技术-参与活动
LLM高性能并行训练技术
LLM高性能并行训练技术### 研究背景与意义- **深度学习的重要性**：人工智能成为国际竞争焦点，深度学习是其核心技术，在众多领域取得突破，推动社会向智能化跃升。 单个 GPU 难以满足大规模模型训练需求，分布式训练面临通信和内存瓶颈。 相关技术与研究现状- **分布式训练 - **数据并行**：每个计算节点持有模型完整副本，处理小批量训练样本子集，通过 All - Reduce 或参数服务器架构实现全局梯度通信。 - **低精度训练**：用**低精度格式表示训练数据，降低内存占用提升性能**，但需引入误差补偿技术维持准确率。 混合并行训练策略 - **成本模型构建**：深入分析模型训练中层内（数据并行和模型并行）和层间（流水线并行）并行性，分别构**建前向计算与反向计算的成本模型**。
49921编辑于 2024-12-31 - 来自专栏时空探索之旅
ICLR 2026 | LLM×Graph论文总结【LLM4Graph与Graph4LLM】
观察：LLM Graph统计值 最大均分 均值 最小均分 6 5.21 4 其中均分≥6的有4篇，其中。 笔者将LLM和Graph结合的工作分为两大类，一类是LLM4Graph，即LLM做图任务。 另外一类是利用Graph4LLM，即利用图结构来增强LLM的能力。 LLM4Graph & TAG1. LLM4Graph & KG 4 DAMR: Efficient and Adaptive Context-Aware Knowledge Graph Question Answering with LLM-Guided LLM4Graph & AI4Science 14 A Brain Graph Foundation Model: Pre-Training and Prompt-Tuning across Broad 6, 8, 2 信心：3, 2, 4, 4 均分：5.0 16 Entropy-Guided Dynamic Tokens for Graph-LLM Alignment in Molecular Understanding
80810编辑于 2026-03-10 LLM 系列（五）：模型训练篇
0、引言 大语言模型（Large Language Model, LLM）的训练是人工智能领域最复杂、最资源密集的任务之一。 技术的核心壁垒：高效的训练技术是各大AI公司的核心竞争力 本文将从技术原理、实践方法、挑战难点等多个维度，全面解析LLM模型训练的核心技术。 1、LLM 训练基本流程 整体训练管道 阶段一：预训练（Pre-training） 核心目标 技术特点 1、学习通用语言表示2、掌握基础语言模式3、建立世界知识基础4、形成语言生成能力 1、自监督学习方式 2、下一个词预测任务3、大规模数据训练4、长时间持续训练 数据规模：通常需要数万亿个token的训练数据 训练时间：几个月到一年的连续训练 计算资源：数千块GPU/TPU的集群 阶段二：后训练（Post-training HPC-AI Tech 自动并行、异构计算 多样化硬件 ChatGLM, Alpaca 4、训练难点与挑战 技术层面挑战 训练资源需求增长趋势 数据层面挑战 工程化挑战 成本分析 5、模型训练的本质
2K30编辑于 2025-07-02- 来自专栏大数据文摘
训练ChatGPT的必备资源：语料、模型和代码库完全指南
ChatGPT是一种基于大规模语言模型技术（LLM， large language model）实现的人机对话工具。但是，如果我们想要训练自己的大规模语言模型，有哪些公开的资源可以提供帮助呢？ 语料 训练大规模语言模型，训练语料不可或缺。主要的开源语料可以分成5类：书籍、网页爬取、社交媒体平台、百科、代码。 前者在GPT-2等小模型中使用较多，而MT-NLG 和 LLaMA等大模型均使用了后者作为训练语料。 最常用的网页爬取语料是CommonCrawl[18]。不过该语料虽然很大，但质量较差。 大模型大多采用从其中筛选得到的子集用于训练。常用的4个子集包括：C4[19], CC-Stories, CC-News[20], 和 RealNews[21]。 而 ROOTS[28]整合了59种语言的语料，包含1.61TB的文本内容。 上图统计了这些常用的开源语料。目前的预训练模型大多采用多个语料资源合并作为训练数据。
3.7K40编辑于 2023-04-10 - 来自专栏自然语言处理
【LLM训练系列01】Qlora如何加载、训练、合并大模型
model.enable_input_require_grads() prepare_model_for_kbit_training函数说明 调用 prepare_model_for_kbit_training（） 函数来预处理用于训练的量化模型 使用场景： 这个函数特别适用于以下情境： 使用低比特（如 8-bit 或 4-bit）的模型进行训练。 微调大模型时希望通过梯度检查点功能减少显存消耗。 作用: 即使模型参数被量化为 4 位，计算时仍使用更高的精度（FP16），以确保训练过程中的数值稳定性和性能。 这组配置是为了使用 BitsAndBytes 库实现 4 位量化，目的是在显存资源有限的情况下训练大型模型，同时尽量保持模型性能。具体设置包括： 启用 4 位量化 来压缩模型权重。 采用 nf4 量化类型 来优化量化模型的效果。 禁用 嵌套量化 以避免额外的复杂性或性能损失。 此配置非常适合需要在低资源环境下进行高效训练的场景。
1.1K10编辑于 2024-11-23 - 来自专栏第一专栏
LLM-TAP随笔——语言模型训练数据【深度学习】【PyTorch】【LLM】
删除标准：训练语料库似然性的增加量 "语料库的似然性"通常是指一个特定文本序列（通常是一段文本或一个句子）在语料库中出现的概率。 检查点是模型在训练或生成过程中的某个时间点的保存状态，通常包括模型的权重参数和其他相关信息，以便稍后能够重新加载模型并继续训练或进行推理。 通常，few-shot learning 指的是模型在少于常规训练所需数量的样本上进行训练。这可以包括几个样本（通常小于10个）或更多，但总体上比传统的大规模训练数据要少。 思维树(Tree of Thoughts, ToT)：ToT提示是一种允许复杂的、多步骤问题通过LLM来解决的方法。 人类反馈训练：人类反馈的强化学习（RLHF）
86050编辑于 2023-09-26 - 来自专栏JAVA
数据预处理错误导致模型训练失败
数据预处理错误导致模型训练失败 摘要 大家好，我是默语，擅长全栈开发、运维和人工智能技术。在这篇博客中，我将深入探讨数据预处理过程中可能导致模型训练失败的常见错误，并提供详细的解决方案。 引言 在人工智能和机器学习项目中，数据预处理是一个至关重要的环节。正确的数据预处理可以显著提升模型的性能，而错误的数据预处理则可能导致模型训练失败，甚至得出错误的结论。 通过正确的数据预处理，我们可以提高模型的训练效果，减少模型的训练时间，并提升模型的预测精度。 常见的数据预处理错误及解决方案 数据缺失处理不当 数据缺失是数据预处理中最常见的问题之一。 小结 在数据预处理阶段，细心和严谨是关键。通过正确的数据预处理方法，可以显著提高模型的训练效果和预测精度。希望通过本文的介绍，大家能够更加重视数据预处理过程，避免常见错误，确保模型训练的顺利进行。 未来，更多先进的数据预处理方法和工具将会出现，帮助我们更加高效地处理数据，提高模型的训练效果。
80410编辑于 2024-11-22 - 来自专栏自然语言处理
【LLM训练系列03】关于大模型训练常见概念讲解
随着LLM学界和工业界日新月异的发展，不仅预训练所用的算力和数据正在疯狂内卷，后训练（post-training）的对齐和微调等方法也在不断更新。下面笔者根据资料整理一些关于大模型训练常见概念解释。 2 Post-training（后训练） 后训练是指在预训练模型的基础上，针对特定的任务或数据集进行额外的训练。 4 Pre-training、Post-training、Continue training的区别 4.1 对比 概念 Pre-training（预训练） Post-training（后训练） Continue 持续训练是指在模型已经进行了预训练和可能的后训练之后，继续在新数据上进行训练，以不断更新和改进模型的性能。 应用 在自然语言处理（NLP）中，预训练模型如 BERT 或 GPT 通过在大规模文本语料库上进行训练，学习语言的通用模式。
2.5K11编辑于 2024-12-20 - 来自专栏机器学习AI算法工程
海量中文语料上预训练ALBERT模型：参数更少，效果更好
ALBERT模型是BERT的改进版，与最近其他State of the art的模型不同的是，这次是预训练小模型，效果更好、参数更少。 预训练小模型也能拿下13项NLP任务，ALBERT三大改造登顶GLUE基准 它对BERT进行了三个改造： 1）词嵌入向量参数的因式分解 Factorized embedding parameterization albert_base, 参数量12M, 层数12，10月5号 2、albert_large, 参数量18M, 层数24，10月13号 3、albert_xlarge, 参数量59M, 层数24，10月6号 4、 albert_xxlarge, 参数量233M, 层数12，10月7号（效果最佳的模型） 训练语料 40g中文语料，超过100亿汉字，包括多个百科、新闻、互动社区、小说、评论。
1K10发布于 2019-10-28 - 来自专栏随手写个文章
基于AIGC的写作尝试：A Survey of Large Language Models（论文翻译）（上）
最近，GPT-4 [46]提出开发特殊的基础设施和优化方法，可可靠地预测具有远小于其大小的模型的大型模型的性能。能力引发。在大规模语料库上进行预训练后，LLM被赋予了作为通用任务求解器的潜在能力。 数据收集 与小规模语言模型相比，LLMs对于模型预训练的高质量数据有更强的需求，它们的模型容量在很大程度上依赖于预训练语料库以及它是如何被预处理的。 在这部分中，我们讨论预训练数据的收集和处理，包括数据来源、预处理方法以及预训练数据如何影响LLMs性能的重要分析。数据来源要开发一个能力强大的LLM，关键是从各种数据源收集大量的自然语言语料库。 在收集大量文本数据之后，对数据进行预处理以构建预训练语料库至关重要，特别是要删除噪声、冗余、不相关和潜在有害的数据[56, 59]，这可能会极大地影响LLMs的容量和性能。 在本部分中，我们回顾了详细的数据预处理策略，以提高收集数据的质量[59, 69, 96]。预处理LLMs的预训练数据的典型流程已在图3中说明。
2.3K40编辑于 2023-05-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号