- 综合排序
- 最热优先
- 最新优先
腾讯云大数据ES与DLC在RAG及LLM训练语料预处理中的应用实践
腾讯云DLC：LLM训练语料数据预处理方案 腾讯云DLC（Data Lake Compute） 提供了针对LLM训练语料数据的Spark预处理最佳实践。 大模型训练数据预处理（AIGC场景） 受众：AIGC企业、大模型训练团队。 痛点： 弹性需求：AI业务的数据处理量并非每天稳定，对按需弹性要求极高。 场景：LLM训练前的语料数据预清洗、训练数据拼接与标记化。 三、 应用框架和功能介绍 1. 功能框架 腾讯云ES RAG架构 数据处理：用户问题 -> 查询转换 -> 提示词工程 -> 上下文窗口。 腾讯云DLC预处理架构 阶段：覆盖预清洗、训练数据拼接与标记化。 核心路径：语料数据Spark预处理 -> 过滤与压缩调优（包含去重、文本向量化、Input文件大小优化） -> 热键数据发现及打散。 AIGC客户大模型训练预处理 背景：AIGC客户在训练大模型时，面临数据处理量波动大、且团队技能侧重于AI而非大数据处理的困境。 解决方案：应用腾讯云DLC的语料数据Spark预处理最佳实践。
19610编辑于 2026-05-30从0开始训练自己的LLM（5）
准备完模型和训练数据后，我们可以开始计算损失函数，并开始训练。
16310编辑于 2026-03-18终极法则——Embedding、LLM 与“语料为王”
LLM：档案管理员与大脑很多人会将 Embedding 模型与 GPT-4 这样的大语言模型（LLM）混淆。它们的核心技术（Transformer）确实同源，但它们的目标和角色定位截然不同。 终极法则：语料为王 (Data is King)无论是 Embedding 模型还是 LLM，我们必须牢记一个最根本的实践原则：模型的一切知识，都 100% 源于它所学习的训练数据（语料）。 你计划应用模型的场景，必须与训练模型的语料场景高度匹配。 如果你想为你的电商网站做一个商品搜索引擎，那么使用一个在海量商品评论和描述上训练过的 Embedding 模型，其效果会远超一个通用的新闻语料模型。 因此，选择或训练一个与你业务场景高度相关的 Embedding 模型，是其在现实世界中取得成功的关键所在。
56810编辑于 2025-08-06大模型备案对模型训练语料的要求
昨天接到一位客户的咨询，说他们的模型还在开发阶段，想提前了解一下大模型备案政策中对于模型训练语料有什么具体要求，提前规避一下。客户确实有前瞻性，考虑得比较充分。 训练语料在研发阶段至关重要，直接影响模型的性能、安全性和合规性。一、训练语料数据来源合法性要求合规来源：语料需通过合法途径获取，禁止使用非法爬取、窃取或未授权的内容（如盗版书籍、隐私数据）。 二、训练语料内容安全合规性要求严格规避《生成式人工智能服务安全基本要求》定义的 5 类 31 种不良语料敏感信息过滤：需移除涉及国家安全、暴力、色情、歧视、虚假信息等违规内容。 时效性：定期更新语料以反映最新知识（如政策变化、技术进展）。去重与清洗：去除重复、低质量文本（如乱码、广告），提升训练效率。 检查方式：违法不良信息占比需≤5%，人工抽检≥1000 条且合格率≥95%三、语料全生命周期管理要求质量控制：去除重复、低质、格式错误数据，采用密码技术（如同态加密）、抑制技术（删除敏感字段）、泛化技术
80710编辑于 2025-04-25- 来自专栏深度学习自然语言处理
NLP实践 | 用自己的语料进行MLM预训练
Bert为代表的预训练语言模型是在大规模语料的基础上训练以获得的基础的学习能力，而实际应用时，我们所面临的语料或许具有某些特殊性，这就使得重新进行 MLM 训练具有了必要性。 在我的印象中，似乎是知道后来同样是Google提出的 T5 模型的论文中，对此进行了解释，对 mask 的比例进行了实验，最终得出结论，15%的比例是最合理的（如果我记错了，还请指正）。 config = Config() config.mlm_config() config.training_config(batch_size=4, epochs=10, learning_rate=1e-5, time (10% of the time) we keep the masked input tokens unchanged return inputs, labels 然后取一些用于训练的语料 可以做适当的预处理。
3.3K20编辑于 2022-08-26 - 来自专栏阿泽的学习笔记
【Embedding】GloVe：大规模语料中快速训练词向量
但我看完这篇论文还有一个非常大的疑惑：GloVe 是怎么训练的呢？ 4. Training image.png 那么问题来了：为什么不用一个矩阵和一个偏置项呢？这样计算量还可以减少一半，何乐不为？ 我们再简单分析一下 GloVe 的时间复杂度，从上面的实验结果来看 GloVe 的速度是非常快的，其原因主要有以下几点： 时间复杂度低，最差为 O(C) ，即统计一遍语料库的共现矩阵，具体推导看论文； 5. GloVe 与 Word2Vec 进行对比： Word2Vec 有神经网络，GloVe 没有； Word2Vec 关注了局部信息，GloVe 关注局部信息和全局信息； 都有滑动窗口但 Word2Vec 是用来训练的
1.5K20发布于 2020-07-21 - 来自专栏尾尾部落
使用自己的语料训练word2vec模型
使用自己的语料训练word2vec模型 一、 准备环境和语料： 新闻20w+篇（格式：标题。 正文） 【新闻可以自己从各大新闻网站爬取，也可以下载开源的新闻数据集，如 互联网语料库(SogouT) 中文文本分类数据集THUCNews 李荣陆英文文本分类语料 谭松波中文文本分类语料 等 词频少于min_count次数的单词会被丢弃掉, 默认值为5 max_vocab_size: 设置词向量构建期间的RAM限制。如果所有独立单词个数超过这个，则就消除掉其中最不频繁的一个。 sample: 高频词汇的随机降采样的配置阈值，默认为1e-3，范围是(0,1e-5) workers参数控制训练的并行数。 hs: 如果为1则会采用hierarchica·softmax技巧。 默认使用python的hash函数 iter： 迭代次数，默认为5 trim_rule： 用于设置词汇表的整理规则，指定那些单词要留下，哪些要被删除。
6.8K30发布于 2018-09-04 - 来自专栏Python与算法之美
5，数据的预处理
预处理数据包括：特征的标准化，数据的正则化，特征的二值化，非线性转换，数据特征编码，缺失值插补,生成多项式特征等。 数据预处理的api有两种接口，一种是类接口，需要先fit再transform，或者使用fit_transform。 第二种是函数接口，可以直接转换。
83232发布于 2020-07-17 - 来自专栏二猫の家
【GEE】5、遥感影像预处理【GEE栅格预处理】
如何直观地比较同一数据集中不同预处理级别的空间数据。 如何在 Google Earth Engine for Landsat 8 表面反射率图像中执行云遮蔽和云遮蔽评估。 2背景 什么是预处理？ 根据收集的不同，可能有各种可用的预处理级别，了解差异以将遥感数据成功整合到生态研究中非常重要。 Young et al, 2017 的决策工作流程显示了不同级别 Landsat 数据预处理的建议用例。 3.1预处理级别示例。 'equals', 26) .map(cloudMask) .map(function NDVI(i){ return i.addBands(i.normalizedDifference(['B5' 'equals', 26) .map(cloudMask) .map(function NDVI(i){ return i.addBands(i.normalizedDifference(['B5'
1.7K40编辑于 2023-11-07 - 来自专栏机器之心
NLP小白入门篇：莫愁前路，一文读懂语料预处理
自然语言处理是 AI 皇冠上的明珠，而语料预处理是自然语言处理的基础。 ? 机器能跟人类交流吗？能像人类一样理解文本吗？这是大家对人工智能最初的想象。 现在你可以跟随本文，初探 NLP 技术的地基（语料预处理）是如何构建起来的。在之后的文章中，我们将循序渐进地介绍 NLP 中的特征提取以及最新算法解读。 语料，顾名思义就是我们平时所说的文本，带有文字描述性的文本都可以归类于语料。但这种原始文本无法直接用来训练模型，需要进行前期预处理。 语料预处理方法主要包括数据清洗、分词、词性标注、去停用词等。 语料清洗 语料清洗即保留语料中有用的数据，删除噪音数据。常见的清洗方式有：人工去重、对齐、删除、标注等。 以下面的文本为例。 常用的分词方法有基于规则的、基于统计的分词方法，而统计的样本内容来自于一些标准的语料库。
87430发布于 2020-08-04 - 来自专栏一点人工一点智能
全景解读 LLM 后训练技术
这些聪明表现的背后，得益于大语言模型（LLM）的两个关键训练阶段：预训练（Pretraining）和后训练（Post-training）。 预训练阶段通过海量文本数据（通常达到 TB 级别）的自我监督学习，使模型··掌握基本的语言规律和世界知识。但仅有预训练的LLM，就好像刚学会六脉神剑的段誉，一身内功，但不会施展。 4）关键差异对比表： 5）技术演进趋势： 动态混合提示作为最新发展方向，允许模型自主决定： · 是否需要在某层插入提示 · 最佳提示插入位置 · 不同提示向量的权重分配 2.3 领域自适应微调 领域自适应微调 强化学习：从对齐到推理 3.1 LLM推理技术全景图 3.2 奖励建模 奖励建模（Reward Modeling） 是很多 RL 方法的关键步骤之一。 0.3 <= difficulty < 0.7: return beam_search(width=3) else: return monte_carlo_tree_search(depth=5)
87910编辑于 2025-03-20 - 来自专栏计算机技术-参与活动
LLM高性能并行训练技术
LLM高性能并行训练技术### 研究背景与意义- **深度学习的重要性**：人工智能成为国际竞争焦点，深度学习是其核心技术，在众多领域取得突破，推动社会向智能化跃升。 单个 GPU 难以满足大规模模型训练需求，分布式训练面临通信和内存瓶颈。 相关技术与研究现状- **分布式训练 - **数据并行**：每个计算节点持有模型完整副本，处理小批量训练样本子集，通过 All - Reduce 或参数服务器架构实现全局梯度通信。 - **低精度训练**：用**低精度格式表示训练数据，降低内存占用提升性能**，但需引入误差补偿技术维持准确率。 混合并行训练策略 - **成本模型构建**：深入分析模型训练中层内（数据并行和模型并行）和层间（流水线并行）并行性，分别构**建前向计算与反向计算的成本模型**。
49921编辑于 2024-12-31 LLM 系列（五）：模型训练篇
0、引言 大语言模型（Large Language Model, LLM）的训练是人工智能领域最复杂、最资源密集的任务之一。 • 能力的源泉：模型的所有能力都来自于训练过程中对数据的学习和参数的优化 • 性能的决定因素：训练质量直接决定了模型在各种任务上的表现 • 成本的主要构成：训练成本占据了LLM开发总成本的70%以上 • 技术的核心壁垒：高效的训练技术是各大AI公司的核心竞争力 本文将从技术原理、实践方法、挑战难点等多个维度，全面解析LLM模型训练的核心技术。 -3, BLOOM Megatron-LM NVIDIA 模型并行、流水线优化 超大规模训练 GPT-3, T5 FairScale Meta FSDP、混合精度 研究实验 OPT, LLaMA Colossal-AI HPC-AI Tech 自动并行、异构计算 多样化硬件 ChatGLM, Alpaca 4、训练难点与挑战 技术层面挑战 训练资源需求增长趋势 数据层面挑战 工程化挑战 成本分析 5、模型训练的本质
2K30编辑于 2025-07-02- 来自专栏大数据文摘
训练ChatGPT的必备资源：语料、模型和代码库完全指南
ChatGPT是一种基于大规模语言模型技术（LLM， large language model）实现的人机对话工具。但是，如果我们想要训练自己的大规模语言模型，有哪些公开的资源可以提供帮助呢？ 语料 训练大规模语言模型，训练语料不可或缺。主要的开源语料可以分成5类：书籍、网页爬取、社交媒体平台、百科、代码。 前者在GPT-2等小模型中使用较多，而MT-NLG 和 LLaMA等大模型均使用了后者作为训练语料。 最常用的网页爬取语料是CommonCrawl[18]。不过该语料虽然很大，但质量较差。 而 ROOTS[28]整合了59种语言的语料，包含1.61TB的文本内容。 上图统计了这些常用的开源语料。目前的预训练模型大多采用多个语料资源合并作为训练数据。 比如GPT-3使用了5个来源3000亿token（word piece）,包含开源语料CommonCrawl, Wikipedia 和非开源语料（WebText2，Books1, Books2）。
3.7K40编辑于 2023-04-10 - 来自专栏自然语言处理
【LLM训练系列01】Qlora如何加载、训练、合并大模型
训练命令如下： ! Belle_sampled_qwen.json" \ --bf16 True \ --output_dir "output_qwen" \ --num_train_epochs 5 -save_strategy "steps" \ --save_steps 1000 \ --save_total_limit 10 \ --learning_rate 1e-5 model.enable_input_require_grads() prepare_model_for_kbit_training函数说明 调用 prepare_model_for_kbit_training（） 函数来预处理用于训练的量化模型 （PreTrainedModel），以便进行 低比特（k-bit）量化训练 或其他特定情况下的训练。
1.1K10编辑于 2024-11-23 - 来自专栏第一专栏
LLM-TAP随笔——语言模型训练数据【深度学习】【PyTorch】【LLM】
HuggingFace 提供的评分公式： score = \frac{词元对出现的频率}{第一个词元出现的频率 × 第二个词元出现的频率} Unigram词元分析算法（T5,mBART） 从一个足够大的可能词元集合开始 删除标准：训练语料库似然性的增加量 "语料库的似然性"通常是指一个特定文本序列（通常是一段文本或一个句子）在语料库中出现的概率。 检查点是模型在训练或生成过程中的某个时间点的保存状态，通常包括模型的权重参数和其他相关信息，以便稍后能够重新加载模型并继续训练或进行推理。 通常，few-shot learning 指的是模型在少于常规训练所需数量的样本上进行训练。这可以包括几个样本（通常小于10个）或更多，但总体上比传统的大规模训练数据要少。 思维树(Tree of Thoughts, ToT)：ToT提示是一种允许复杂的、多步骤问题通过LLM来解决的方法。
86050编辑于 2023-09-26 - 来自专栏JAVA
数据预处理错误导致模型训练失败
数据预处理错误导致模型训练失败 摘要 大家好，我是默语，擅长全栈开发、运维和人工智能技术。在这篇博客中，我将深入探讨数据预处理过程中可能导致模型训练失败的常见错误，并提供详细的解决方案。 引言 在人工智能和机器学习项目中，数据预处理是一个至关重要的环节。正确的数据预处理可以显著提升模型的性能，而错误的数据预处理则可能导致模型训练失败，甚至得出错误的结论。 通过正确的数据预处理，我们可以提高模型的训练效果，减少模型的训练时间，并提升模型的预测精度。 常见的数据预处理错误及解决方案 数据缺失处理不当 数据缺失是数据预处理中最常见的问题之一。 小结 在数据预处理阶段，细心和严谨是关键。通过正确的数据预处理方法，可以显著提高模型的训练效果和预测精度。希望通过本文的介绍，大家能够更加重视数据预处理过程，避免常见错误，确保模型训练的顺利进行。 未来，更多先进的数据预处理方法和工具将会出现，帮助我们更加高效地处理数据，提高模型的训练效果。
80410编辑于 2024-11-22 - 来自专栏机器学习AI算法工程
海量中文语料上预训练ALBERT模型：参数更少，效果更好
ALBERT模型是BERT的改进版，与最近其他State of the art的模型不同的是，这次是预训练小模型，效果更好、参数更少。 预训练小模型也能拿下13项NLP任务，ALBERT三大改造登顶GLUE基准 它对BERT进行了三个改造： 1）词嵌入向量参数的因式分解 Factorized embedding parameterization id=H1eA7AEtvS 发布计划 Release Plan 1、albert_base, 参数量12M, 层数12，10月5号 2、albert_large, 参数量18M, 层数24，10月13号 3、albert_xlarge, 参数量59M, 层数24，10月6号 4、albert_xxlarge, 参数量233M, 层数12，10月7号（效果最佳的模型） 训练语料 40g中文语料，超过100
1K10发布于 2019-10-28 - 来自专栏自然语言处理
【LLM训练系列03】关于大模型训练常见概念讲解
随着LLM学界和工业界日新月异的发展，不仅预训练所用的算力和数据正在疯狂内卷，后训练（post-training）的对齐和微调等方法也在不断更新。下面笔者根据资料整理一些关于大模型训练常见概念解释。 2 Post-training（后训练） 后训练是指在预训练模型的基础上，针对特定的任务或数据集进行额外的训练。 持续训练是指在模型已经进行了预训练和可能的后训练之后，继续在新数据上进行训练，以不断更新和改进模型的性能。 应用 在自然语言处理（NLP）中，预训练模型如 BERT 或 GPT 通过在大规模文本语料库上进行训练，学习语言的通用模式。 5 监督训练 在监督学习中（也称为从演示中学习或“指令微调”），我们会收集一组人类编写的文本，这些文本以问题或指令的形式出现，并包含了期望的输出。
2.5K11编辑于 2024-12-20 - 来自专栏随手写个文章
基于AIGC的写作尝试：A Survey of Large Language Models（论文翻译）（上）
数据收集 与小规模语言模型相比，LLMs对于模型预训练的高质量数据有更强的需求，它们的模型容量在很大程度上依赖于预训练语料库以及它是如何被预处理的。 在这部分中，我们讨论预训练数据的收集和处理，包括数据来源、预处理方法以及预训练数据如何影响LLMs性能的重要分析。数据来源要开发一个能力强大的LLM，关键是从各种数据源收集大量的自然语言语料库。 在收集大量文本数据之后，对数据进行预处理以构建预训练语料库至关重要，特别是要删除噪声、冗余、不相关和潜在有害的数据[56, 59]，这可能会极大地影响LLMs的容量和性能。 在本部分中，我们回顾了详细的数据预处理策略，以提高收集数据的质量[59, 69, 96]。预处理LLMs的预训练数据的典型流程已在图3中说明。 图片数据预处理质量过滤：为了从收集的语料库中删除低质量的数据，现有的工作通常采用两种方法：（1）基于分类器的方法和（2）基于启发式的方法。
2.3K40编辑于 2023-05-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号