- 综合排序
- 最热优先
- 最新优先
腾讯云大数据ES与DLC在RAG及LLM训练语料预处理中的应用实践
其核心技术属性在于通过文本+向量的混合搜索能力，解决大模型（LLM）的知识更新、特定知识缺乏及模型幻觉问题。 2. 腾讯云DLC：LLM训练语料数据预处理方案 腾讯云DLC（Data Lake Compute） 提供了针对LLM训练语料数据的Spark预处理最佳实践。 场景：LLM训练前的语料数据预清洗、训练数据拼接与标记化。 三、 应用框架和功能介绍 1. 功能框架 腾讯云ES RAG架构 数据处理：用户问题 -> 查询转换 -> 提示词工程 -> 上下文窗口。 腾讯云DLC预处理架构 阶段：覆盖预清洗、训练数据拼接与标记化。 核心路径：语料数据Spark预处理 -> 过滤与压缩调优（包含去重、文本向量化、Input文件大小优化） -> 热键数据发现及打散。 2. AIGC客户大模型训练预处理 背景：AIGC客户在训练大模型时，面临数据处理量波动大、且团队技能侧重于AI而非大数据处理的困境。 解决方案：应用腾讯云DLC的语料数据Spark预处理最佳实践。
19610编辑于 2026-05-30- 来自专栏尾尾部落
使用自己的语料训练word2vec模型
使用自己的语料训练word2vec模型 一、 准备环境和语料： 新闻20w+篇（格式：标题。 正文） 【新闻可以自己从各大新闻网站爬取，也可以下载开源的新闻数据集，如 互联网语料库(SogouT) 中文文本分类数据集THUCNews 李荣陆英文文本分类语料 谭松波中文文本分类语料 等 word2vec模型 使用python的gensim包进行训练。 ("seg201708.txt") model = word2vec.Word2Vec(sentences, workers=num_workers, \ size=num_features sg： 用于设置训练算法，默认为0，对应CBOW算法；sg=1则采用skip-gram算法。 size：是指特征向量的维度，默认为100。大的size需要更多的训练数据,但是效果会更好.
6.8K30发布于 2018-09-04 从0开始训练自己的LLM（2）
其核心优势在于并行计算和长距离依赖捕捉，成为大语言模型（LLM）的基石。而注意力机制是基石的基石。核心组件包括查询（Query）、键（Key）、值（Value）三个权重矩阵。 values return context_vec d_in = inputs.shape[1] # the input embedding size, d=3 d_out = 2 # In practice, this is not a problem since the LLM (chapters 4-7) ensures that inputs # In practice, this is not a problem since the LLM (chapters 4-7) ensures that inputs queries = queries.transpose(1, 2) values = values.transpose(1, 2) # Compute
17110编辑于 2026-03-18终极法则——Embedding、LLM 与“语料为王”
LLM：档案管理员与大脑很多人会将 Embedding 模型与 GPT-4 这样的大语言模型（LLM）混淆。它们的核心技术（Transformer）确实同源，但它们的目标和角色定位截然不同。 终极法则：语料为王 (Data is King)无论是 Embedding 模型还是 LLM，我们必须牢记一个最根本的实践原则：模型的一切知识，都 100% 源于它所学习的训练数据（语料）。 你计划应用模型的场景，必须与训练模型的语料场景高度匹配。 如果你想为你的电商网站做一个商品搜索引擎，那么使用一个在海量商品评论和描述上训练过的 Embedding 模型，其效果会远超一个通用的新闻语料模型。 因此，选择或训练一个与你业务场景高度相关的 Embedding 模型，是其在现实世界中取得成功的关键所在。
56810编辑于 2025-08-06大模型备案对模型训练语料的要求
昨天接到一位客户的咨询，说他们的模型还在开发阶段，想提前了解一下大模型备案政策中对于模型训练语料有什么具体要求，提前规避一下。客户确实有前瞻性，考虑得比较充分。 训练语料在研发阶段至关重要，直接影响模型的性能、安全性和合规性。一、训练语料数据来源合法性要求合规来源：语料需通过合法途径获取，禁止使用非法爬取、窃取或未授权的内容（如盗版书籍、隐私数据）。 自采语料：需保留采集记录（含采集时间、采集方式），禁止采集通过 Robots 协议明确禁止的网页数据（如政府官网、金融机构敏感数据）。境外语料需通过安全评估。 二、训练语料内容安全合规性要求严格规避《生成式人工智能服务安全基本要求》定义的 5 类 31 种不良语料敏感信息过滤：需移除涉及国家安全、暴力、色情、歧视、虚假信息等违规内容。 时效性：定期更新语料以反映最新知识（如政策变化、技术进展）。去重与清洗：去除重复、低质量文本（如乱码、广告），提升训练效率。
80710编辑于 2025-04-25- 来自专栏深度学习自然语言处理
NLP实践 | 用自己的语料进行MLM预训练
Bert为代表的预训练语言模型是在大规模语料的基础上训练以获得的基础的学习能力，而实际应用时，我们所面临的语料或许具有某些特殊性，这就使得重新进行 MLM 训练具有了必要性。 1.2 如何进行MLM训练 1.2.1 什么是MLM MLM 的训练，在不同的预训练模型中其实是有所不同的。今天介绍的内容以最基础的 Bert 为例。 2. 代码部分 2.1 背景 介绍完了基础内容之后，接下来的内容，我将基于 transformers 模块，介绍如何进行 mask language model 的训练。 time (10% of the time) we keep the masked input tokens unchanged return inputs, labels 然后取一些用于训练的语料 可以做适当的预处理。
3.3K20编辑于 2022-08-26 - 来自专栏阿泽的学习笔记
【Embedding】GloVe：大规模语料中快速训练词向量
Weight Function f 2.2 Relationship to Word2Vec image.png image.png 3. 但我看完这篇论文还有一个非常大的疑惑：GloVe 是怎么训练的呢？ 4. Training image.png 那么问题来了：为什么不用一个矩阵和一个偏置项呢？这样计算量还可以减少一半，何乐不为？ 我们再简单分析一下 GloVe 的时间复杂度，从上面的实验结果来看 GloVe 的速度是非常快的，其原因主要有以下几点： 时间复杂度低，最差为 O(C) ，即统计一遍语料库的共现矩阵，具体推导看论文； 我们尝试着将 GloVe 与 Word2Vec 进行对比： Word2Vec 有神经网络，GloVe 没有； Word2Vec 关注了局部信息，GloVe 关注局部信息和全局信息； 都有滑动窗口但 Word2Vec 是用来训练的，GloVe 是用来统计共现矩阵的； GloVe 的结构比 Word2Vec 还要简单，所以速度更快； Word2Vec 是无监督学习，而 GloVe 可是视为有监督的，其 Label 为
1.5K20发布于 2020-07-21 - 来自专栏Coding迪斯尼
人脸识别系统的原理与实现:PNET训练数据预处理2
上一节我们详细说明了如何为PNET生成用于训练的人脸图片，本节我们需要将上一节分割出的人脸图片存储成文件，相关代码如下： import numpy as np import cv2 from google.colab.patches import cv2_imshow import os #准备存储不同训练图片的路径 pos_save_dir = "/content/drive/MyDrive/my_mtcnn/12/positive part_save_dir) if not os.path.exists(neg_save_dir): os.mkdir(neg_save_dir) 接下来我们调用上一节描述的图片切割函数，将不同类别的训练图片存入相应路径 由于PNET在训练时除了要判断人脸范围外，还需要预测五个人脸关键点坐标，这些关键点对应两只眼睛，两边嘴角和中间鼻子，因此我们还需要相应的数据，这些训练数据来自于数据集：! 为什么需要做这些操作呢，这些手段叫数据增强，其目的是增加图片的多种形态，由此能训练网络更好的识别人脸。
1K11发布于 2021-01-02 - 来自专栏机器之心
NLP小白入门篇：莫愁前路，一文读懂语料预处理
自然语言处理是 AI 皇冠上的明珠，而语料预处理是自然语言处理的基础。 ? 机器能跟人类交流吗？能像人类一样理解文本吗？这是大家对人工智能最初的想象。 现在你可以跟随本文，初探 NLP 技术的地基（语料预处理）是如何构建起来的。在之后的文章中，我们将循序渐进地介绍 NLP 中的特征提取以及最新算法解读。 语料，顾名思义就是我们平时所说的文本，带有文字描述性的文本都可以归类于语料。但这种原始文本无法直接用来训练模型，需要进行前期预处理。 语料预处理方法主要包括数据清洗、分词、词性标注、去停用词等。 语料清洗 语料清洗即保留语料中有用的数据，删除噪音数据。常见的清洗方式有：人工去重、对齐、删除、标注等。 以下面的文本为例。 还是以上句为例，如果不进行词性标注，两个「开心」会被认为是同义词，词频为 2，这会在后续分析中引入误差。 此外，词性标注还具有标准化、词形还原，以及有效移除停用词的作用。
87430发布于 2020-08-04 - 来自专栏小小挖掘机
windows下使用word2vec训练维基百科中文语料全攻略！（二）
训练一个聊天机器人的很重要的一步是词向量训练，无论是生成式聊天机器人还是检索式聊天机器人，都需要将文字转化为词向量，时下最火的词向量训练模型是word2vec，所以，今天小编文文带你使用维基百科训练词向量 接下来就可以训练词向量啦,代码如下： #! (outp2, binary=False) 使用命令开始训练 python train_word2vec_model.py wiki.zh.jian.seg.txt wiki.zh.text.model wiki.zh.text.vector 发现训练开始： ? 今天先记录到这里啦，下一篇，小编带你一起体验一下word2vec的训练结果。
1.4K40发布于 2018-04-11 - 来自专栏一点人工一点智能
全景解读 LLM 后训练技术
这些聪明表现的背后，得益于大语言模型（LLM）的两个关键训练阶段：预训练（Pretraining）和后训练（Post-training）。 预训练阶段通过海量文本数据（通常达到 TB 级别）的自我监督学习，使模型··掌握基本的语言规律和世界知识。但仅有预训练的LLM，就好像刚学会六脉神剑的段誉，一身内功，但不会施展。 · 利用预训练知识：通过优化提示，引导模型利用预训练知识，从而减少对标注数据的依赖。 2）数学原理： 公式： 描述了可学习的提示向量。 · P-Tuning v2（绿色）： 核心思想：分层插入位置可学习。 实现方式：P-Tuning v2 首先将提示向量插入到不同的层中，然后通过训练来确定每个提示向量的最佳位置。 2）当前最佳方案：多目标对抗训练。多目标对抗训练是一种通过同时优化多个目标，并引入对抗性损失来防止模型过度优化表面指标的技术。 · 多目标：例如，可以同时优化用户点击率和内容质量。
87810编辑于 2025-03-20 - 来自专栏小小挖掘机
windows下使用word2vec训练维基百科中文语料全攻略！（一）
训练一个聊天机器人的很重要的一步是词向量训练，无论是生成式聊天机器人还是检索式聊天机器人，都需要将文字转化为词向量，时下最火的词向量训练模型是word2vec，所以，今天小编文文带你使用维基百科训练词向量 1、训练数据下载 我们使用维基百科训练词向量，维基百科数据的下载地址为：https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2 下载后无需解压，中文维基百科的数据比较小，整个xml的压缩文件大约才1G 2、安装依赖库 下载数据之后，网上提供了现成的程序对xml进行解压，在网上找到了一个解析xml的py文件，命名为process_wiki.py 3、将xml的wiki数据转换为text格式 使用下面的代码对数据进行处理，命名为process_wiki.py，这个代码是python2和python3通用的： from __future__ import = 3: print("Using: python process_wiki.py enwiki.xxx.xml.bz2 wiki.en.text") sys.exit(
1.1K60发布于 2018-04-11 - 来自专栏计算机技术-参与活动
LLM高性能并行训练技术
LLM高性能并行训练技术### 研究背景与意义- **深度学习的重要性**：人工智能成为国际竞争焦点，深度学习是其核心技术，在众多领域取得突破，推动社会向智能化跃升。 单个 GPU 难以满足大规模模型训练需求，分布式训练面临通信和内存瓶颈。 - **低精度训练**：用**低精度格式表示训练数据，降低内存占用提升性能**，但需引入误差补偿技术维持准确率。 相比暴力搜索的指数级复杂度，该算法时间复杂度为\(O(K^{2}N^{2})\)，有效降低了策略搜索成本。 - **实验验证**：在多个深度学习模型和分布式环境下验证有效性。 **与数据并行和 Gpipe 相比，分别实现高达 1.88 倍和 2 倍的加速比**，证明了该策略能根据不同环境和模型给出高效并行方案。
49821编辑于 2024-12-31 LLM 系列（五）：模型训练篇
0、引言 大语言模型（Large Language Model, LLM）的训练是人工智能领域最复杂、最资源密集的任务之一。 技术的核心壁垒：高效的训练技术是各大AI公司的核心竞争力 本文将从技术原理、实践方法、挑战难点等多个维度，全面解析LLM模型训练的核心技术。 1、LLM 训练基本流程 整体训练管道 阶段一：预训练（Pre-training） 核心目标 技术特点 1、学习通用语言表示2、掌握基础语言模式3、建立世界知识基础4、形成语言生成能力 1、自监督学习方式 训练 高（2倍参数量） AdamW Adam + 权重衰减解耦 主流LLM优化器 高 Lion 符号操作，内存友好 资源受限场景 中等 LOMO 低内存优化 消费级硬件训练 很低 数据处理技术 3、模型训练方案分析 学习机制深度解析 模式识别与抽象 底层特征 中层表征 高层抽象 1、词汇级别模式2、语法结构规律3、局部语义关联 1、句法语义结合2、上下文依赖3、概念层面理解 1、逻辑推理能力2、常识知识应用3、创造性生成
2K30编辑于 2025-07-02- 来自专栏小小挖掘机
windows下使用word2vec训练维基百科中文语料全攻略！（三）
训练一个聊天机器人的很重要的一步是词向量训练，无论是生成式聊天机器人还是检索式聊天机器人，都需要将文字转化为词向量，时下最火的词向量训练模型是word2vec，所以，今天小编文文带你使用维基百科训练词向量 7、参数说明 上一步我们已经开始训练词向量，但是对于模型的参数并没有介绍，我们先来看一下源代码： class gensim.models.word2vec.Word2Vec(sentences=None batch_words=10000) 参数含义如下（转自http://blog.csdn.net/szlcw1/article/details/52751314）： · sentences：可以是一个·ist，对于大语料集 · sg： 用于设置训练算法，默认为0，对应CBOW算法；sg=1则采用skip-gram算法。 · size：是指特征向量的维度，默认为100。大的size需要更多的训练数据,但是效果会更好. model = gensim.models.Word2Vec.load('wiki.zh.text.model') 如何获取某个单词的词向量呢， 很简单，使用类似字典的方式即可： print (model
1.5K50发布于 2018-04-11 - 来自专栏人工智能LeadAI
windows下使用word2vec训练维基百科中文语料全攻略！（一）
训练一个聊天机器人的很重要的一步是词向量训练，无论是生成式聊天机器人还是检索式聊天机器人，都需要将文字转化为词向量，时下最火的词向量训练模型是word2vec，所以，今天小编文文带你使用维基百科训练词向量 训练数据下载 我们使用维基百科训练词向量，维基百科数据的下载地址为：https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2 将xml的wiki数据转换为text格式 使用下面的代码对数据进行处理，命名为process_wiki.py，这个代码是python2和python3通用的： from __future__ import = 3: print("Using: python process_wiki.py enwiki.xxx.xml.bz2 wiki.en.text") sys.exit(1) inp, outp = sys.argv Saved " + str(i) + " articles") 使用如下的命令执行代码： python process_wiki.py zhwiki-latest-pages-articles.xml.bz2
65120发布于 2019-03-07 - 来自专栏人工智能LeadAI
windows下使用word2vec训练维基百科中文语料全攻略！（三
训练一个聊天机器人的很重要的一步是词向量训练，无论是生成式聊天机器人还是检索式聊天机器人，都需要将文字转化为词向量，时下最火的词向量训练模型是word2vec，所以，今天小编文文带你使用维基百科训练词向量 参数说明 上一步我们已经开始训练词向量，但是对于模型的参数并没有介绍，我们先来看一下源代码： class gensim.models.word2vec.Word2Vec(sentences=None,size batch_words=10000) 参数含义如下（转自http://blog.csdn.net/szlcw1/article/details/52751314）： · sentences：可以是一个·ist，对于大语料集 · sg： 用于设置训练算法，默认为0，对应CBOW算法；sg=1则采用skip-gram算法。 · size：是指特征向量的维度，默认为100。大的size需要更多的训练数据,但是效果会更好. model = gensim.models.Word2Vec.load('wiki.zh.text.model') 如何获取某个单词的词向量呢， 很简单，使用类似字典的方式即可： print (model
90200编辑于 2023-03-28 - 来自专栏大数据文摘
训练ChatGPT的必备资源：语料、模型和代码库完全指南
ChatGPT是一种基于大规模语言模型技术（LLM， large language model）实现的人机对话工具。但是，如果我们想要训练自己的大规模语言模型，有哪些公开的资源可以提供帮助呢？ 语料 训练大规模语言模型，训练语料不可或缺。主要的开源语料可以分成5类：书籍、网页爬取、社交媒体平台、百科、代码。 前者在GPT-2等小模型中使用较多，而MT-NLG 和 LLaMA等大模型均使用了后者作为训练语料。 最常用的网页爬取语料是CommonCrawl[18]。不过该语料虽然很大，但质量较差。 而 ROOTS[28]整合了59种语言的语料，包含1.61TB的文本内容。 上图统计了这些常用的开源语料。目前的预训练模型大多采用多个语料资源合并作为训练数据。 比如GPT-3使用了5个来源3000亿token（word piece）,包含开源语料CommonCrawl, Wikipedia 和非开源语料（WebText2，Books1, Books2）。
3.7K40编辑于 2023-04-10 - 来自专栏自然语言处理
【LLM训练系列01】Qlora如何加载、训练、合并大模型
训练命令如下： ! model.enable_input_require_grads() prepare_model_for_kbit_training函数说明 调用 prepare_model_for_kbit_training（） 函数来预处理用于训练的量化模型 （PreTrainedModel），以便进行 低比特（k-bit）量化训练 或其他特定情况下的训练。 以下是实现权重合并的示例代码： 示例2：Qlora微调Llama fine-tuning-llama-2-using-lora-and-qlora-a-comprehensive-guide 选择模型 model_name = "NousResearch/Llama-2-7b-chat-hf" dataset_name = "mlabonne/guanaco-llama2-1k" new_model
1.1K10编辑于 2024-11-23 - 来自专栏第一专栏
LLM-TAP随笔——语言模型训练数据【深度学习】【PyTorch】【LLM】
2. 全词切分为词元以及词元合并为全词的方法 输入词序列全词切分，对照词表按词元从长到短顺序遍历匹配。 合成全词时，词元表示失败部分视作未登录词，赋予相同表示。 删除标准：训练语料库似然性的增加量 "语料库的似然性"通常是指一个特定文本序列（通常是一段文本或一个句子）在语料库中出现的概率。 BPE词元分析算法（GPT-2，BART，LLaMA） 将字节视为合并的基本符号。 Tips： R^d ：表示d维度张向量空间。 R^{d × m} ： d ×m 的实数矩阵的空间。 通常，few-shot learning 指的是模型在少于常规训练所需数量的样本上进行训练。这可以包括几个样本（通常小于10个）或更多，但总体上比传统的大规模训练数据要少。 思维树(Tree of Thoughts, ToT)：ToT提示是一种允许复杂的、多步骤问题通过LLM来解决的方法。
86050编辑于 2023-09-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号