- 综合排序
- 最热优先
- 最新优先
- 来自专栏Python与算法之美
8，模型的训练
一，分类模型的训练 ? ? ? ? ? ? ? ? ? 二，回归模型的训练 ? ? ? ? ? ? ? ? 三，聚类模型的训练 KMeans算法的基本思想如下： 随机选择K个点作为初始质心 While 簇发生变化或小于最大迭代次数： 将每个点指派到最近的质心，形成K个簇 重新计算每个簇的质心 ? 四，降维模型的训练 PCA主成分分析(Principal Components Analysis)是最常使用的降维算法，其基本思想如下： 将原先的n个特征用数目更少的m个特征取代，新特征是旧特征的线性组合 五，管道Pipeline的训练 使用管道可以减少训练步骤 有时候，我们可以用管道Pipeline把多个估计器estimater串联起来一次性训练数据。
82031发布于 2020-07-17 - 来自专栏GiantPandaCV
INT8量化训练
【GiantPandaCV导读】本文聊了两篇做INT8量化训练的文章，量化训练说的与quantization-aware Training有区别，量化训练指的是在模型训练的前向传播和后向传播都有INT8 两篇文章都是基于对梯度构建分析方程求解得到解决量化训练会引起的训练崩溃和精度损失严重的情况。 而量化训练则是在前向传播和后向传播都加入量化，而且做完矩阵运算再把运算的结果反量化回去浮点数。 Pytorch实现卷积神经网络训练量化(QAT) 一、Distribution Adaptive INT8 ? 知乎链接： （量化 | INT8量化训练）https://zhuanlan.zhihu.com/p/364782854
1.4K30发布于 2021-04-30 - 来自专栏模型压缩
INT8量化训练
【导读】本文聊了两篇做INT8量化训练的文章，量化训练说的与quantization-aware Training有区别，量化训练指的是在模型训练的前向传播和后向传播都有INT8量化。 两篇文章都是基于对梯度构建分析方程求解得到解决量化训练会引起的训练崩溃和精度损失严重的情况。 而量化训练则是在前向传播和后向传播都加入量化，而且做完矩阵运算再把运算的结果反量化回去浮点数。 Pytorch实现卷积神经网络训练量化(QAT) 一、Distribution Adaptive INT8 文章的核心idea是：Unified INT8发现梯度的分布不遵从一个分布即不能像权重一样归于高斯分布 整个pipeline： SpeedUp: 这里有个重要的cuda层的优化： 实验： 知乎链接： 量化 | INT8量化训练 首发于GaintPandaCV，未经允许，不许转载
1.6K00发布于 2021-06-06 - 来自专栏开源服务指南
AI 模型训练与优化：提升中文理解能力 | 开源专题 No.88
+本地 CPU/GPU 训练部署项目。 该项目开源了中文 LLaMA 模型和指令精调的 Alpaca 大模型，扩充了中文词表并使用了中文数据进行二次预训练，提升了基础语义理解能力。 主要功能、关键特性、核心优势包括： 扩充中文词表 使用中文数据进行二次预训练 开源预训练脚本、指令精调脚本 支持transformers, llama.cpp, text-generation-webui 该项目旨在持续优化 Llama 大模型在中文处理方面的性能和适应性，为用户提供丰富的中文处理能力。主要功能和核心优势包括： 提供在线体验，包含 Llama3 和 Llama2 模型。 提供中文预训练模型 Atom-7B 以及官方模型 Llama3 和 Llama 提供多种使用方式，包括 Anaconda、Docker、gradio 等。 支持模型预训练、微调和量化。
36910编辑于 2024-06-11 - 来自专栏机器学习AI算法工程
高质量中文预训练模型汇总
向AI转型的程序员都关注了这个号 机器学习AI算法工程 公众号：datayx 在自然语言处理领域中，预训练语言模型（Pretrained Language Models）已成为非常重要的基础技术，本仓库主要收集目前网上公开的一些高质量中文预训练模型 Mengzi-BERT ChineseBERT TaCL MC-BERT 二郎神 PERT MobileBERT GAU-α 全部链接 获取方式： 关注微信公众号 datayx 然后回复 中文训练 机器学习算法AI大数据技术 搜索公众号添加： datanlp 长按图片，识别二维码 ---- 阅读过本文的人还看了以下文章： TensorFlow 2.0深度学习案例实战 基于40万表格数据集TableBank ，用MaskRCNN做表格检测 《基于深度学习的自然语言处理》中/英PDF Deep Learning 中文版初版-周志华团队 【全套视频课】最全的目标检测算法系列讲解，通俗易懂！ Machine Learning Yearning 中文翻译稿 蚂蚁金服2018秋招-算法工程师（共四面）通过 全球AI挑战-场景分类的比赛源码(多模型融合) 斯坦福CS230官方指南：CNN、RNN
2.9K10编辑于 2022-06-02 - 来自专栏全栈程序员必看
word2vec训练中文词向量
中文语料库准备 本文采用的是搜狗实验室的搜狗新闻语料库，数据链接 http://www.sogou.com/labs/resource/cs.php 下载下来的文件名为： news_sohusite_xml.full.tar.gz import jieba import numpy as np filePath='corpus_1.txt' fileSegWordDonePath ='corpusSegDone_1.txt' # 打印中文列表 对英文单词进行分词，所以需要用正则表达式去除词条中的英文数据，并且去除一些单字词，还有一些词条里面较短词，如”在北京”，这类词会导致分词出现问题，也需要使用正则去除，也有简单粗暴的方法，直接保留3个汉字及以上的中文词条 因此将语料数据分成8份，手动开启8个进程分别分词，这样每个进程内存占用都很稳定，比jieba自带的并行分词性能好，20g的数据，开启HMM模式，分词大概花了10个小时 3. word2vec训练 使用gensim ，训练速度非常快。
1.4K10编辑于 2022-07-01 - 来自专栏朴素人工智能
pytorch中文语言模型bert预训练代码
这篇论文做了很多语言模型预训练的实验，系统的分析了语言模型预训练对子任务的效果提升情况。 大部分中文语言模型都是在tensorflow上训练的，一个常见例子是中文roberta项目。 可以参考 https://github.com/brightmart/roberta_zh 使用pytorch进行中文bert语言模型预训练的例子比较少。 /bert-base-chinese) 这是最常见的中文bert语言模型，基于中文维基百科相关语料进行预训练。 eval_data_file=$TEST_FILE \ --mlm 3 ernie （https://github.com/nghuyong/ERNIE-Pytorch） ernie是百度发布的基于百度知道贴吧等中文语料结合实体预测等任务生成的预训练模型
4.7K10发布于 2020-07-24 - 来自专栏WTSolutions
OpenAI Agents SDK 中文文档 中文教程 （8）
OpenAI SDK 中 ResponseInputItemParam 类型的类型别名。
42010编辑于 2025-03-20 - 来自专栏AI
AI训练师入行指南（四）：模型训练
——从璞玉到珍宝：数据雕刻师的终极修炼 一、开篇在《指南（三）》中，我们根据场景选择了合适的AI模型——就像选定了雕刻和田玉的工具与技法。 现在，我们正式进入训练阶段：用特定数据集将模型从粗坯打磨成传世珍宝。 “用翡翠原石雕佛像，用和田玉刻印章——特定数据集就是AI模型的专属玉料。” 成熟AI模型案例解析(1) DeepSeek-Chat（深度求索）数据燃料：千万级高质量中文对话数据（含代码、百科、小说） 训练成果：能生成符合中文语境的代码注释，甚至写出“鲁迅风格”的段子。 scheduler = torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, 'min', patience=2)效果对比：自适应学习率比固定学习率准确率高8% self.image_proj = nn.Linear(1024, 512) self.attention = nn.MultiheadAttention(512, 8)
74310编辑于 2025-03-31 - 来自专栏FreeBuf
AI领域的预训练与自训练
最近一年，AI领域出现了很多迁移学习(transfer learning)和自学习(self-learning)方面的文章，比较有名的有MoCo，MoCo v2，SimCLR等。 01 使用监督学习获得预训练模型 作为实验，研究者首先在Imagenet上训练分类网络作为预训练模型，之后监督得到的预训练模型作为骨干网络在COCO数据集上进行训练。 不同数据增强模式下基线、监督式预训练、自训练式预训练下的目标检测结果对比 ? 不同数据增强模式下基线、监督式预训练、自训练式预训练下的目标检测结果对比 ? 统一实验条件下三种预监督方法对比 作为与监督预训练与无监督预训练的对比，对照实验表明使用自训练方法得到的预训练模型在各种数据增强模式，不同主任务训练集尺寸的情况下都能获得明显受益，且显著优于基线(不使用预训练模型 在语义分割方面，研究者也证明了自训练的预训练方式比监督式预训练可以达到更好的效果： ?
1.9K10发布于 2020-11-16 - 来自专栏信数据得永生
MySQL8 中文参考（八）
3 | penguin | | 4 | lax | | 5 | whale | | 6 | ostrich | | 7 | groundhog | | 8
71510编辑于 2024-06-26 - 来自专栏信数据得永生
MySQL8 中文参考（二）
default_collation_for_utf8mb4: utf8mb4 字符集的默认排序规则；仅供 MySQL 复制内部使用。MySQL 8.0.11 中添加。 字符串比较默认不区分大小写，排序顺序由当前字符集的排序规则决定，默认为 utf8mb4。 NULL, `owner` smallint(5) unsigned NOT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci 有关外键约束的信息，请参阅第 15.1.20.5 节，“FOREIGN KEY Constraints”。 如果您有兴趣从另一个数据库系统迁移到 MySQL，请参阅附录 A.8，“MySQL 8.0 FAQ：迁移”，其中包含有关迁移问题的一些常见问题的答案。
97610编辑于 2024-06-26 - 来自专栏自然语言处理
ERNIE 3.0 Titan：最强中文预训练模型
https://arxiv.org/abs/2112.12731 论文作者：作者：Shuohuan Wang, Yu Sun, Yang Xiang, Haifeng Wang 论文简介 本文介绍了一个中文大语言模型 作者提出了名为ERNIE 3.0的统一框架，用于预训练大规模知识增强模型，并训练了一个具有 100 亿个参数的模型。 ERNIE 3.0 在各种 NLP 任务上的表现优于最先进的模型。 为了减少计算开销和碳排放，作者为 ERNIE 3.0 Titan 提出了一个在线蒸馏框架，其中教师模型将同时教授学生和自我训练。ERNIE 3.0 Titan是迄今为止最大的中文密集预训练模型。 具体来说，ERNIE 3.0 Framework 允许多任务范式之间的协同预训练，其中各种类型的预训练任务在相应的任务范式中增量部署，使模型能够学习不同层次的知识，即有价值的词汇、句法和语义信息，更有效 最后，在训练前，一个给定的段落被随机分割成1到m个片段，所有的组合都按一个随机排列的顺序被打乱。然后，要求预先训练的模型重新组织这些排列的片段。
1.3K40编辑于 2022-01-06 - 来自专栏又见苍岚
使用原神语音训练中文 VITS 模型
做了大量准备工作之后，本文记录使用原神语音训练中文 VITS 模型的流程。 monotonic_alignpython setup.py build_ext --inplace 生成语音标注 根据 原神——提瓦特大陆语音分类识别 筛选的音频，使用 科大讯飞语音识别 结果，运用 Python 识别中文生成带声调的拼音 预训练 可以使用官方推荐的数据直接训练来练手以及生成预训练模型： 12 download baker data: https://www.data-baker.com/data/index/TNtts/ /data/waves 音频生成 我用云堇的音频文件训练了 VITS 模型，训练好后可以尝试输出，10000 个 Iter 后输出了一个模型，迫不及待试了一下。 核心文件为 vits_infer.py，该文件需要配置配置文件和模型路径，之后会根据配置加载语音生成模型，将 vits_infer_item.txt 中的中文转为语音，这里贴几段示例： 123 遥望星空作文独自坐在乡间的小丘上
4.2K21编辑于 2023-07-20 - 来自专栏信数据得永生
MySQL8 中文参考（八十）
在 MySQL 8 中添加immediate_commit_timestamp和original_commit_timestamp提供了关于复制延迟的更精细信息。 如果不兼容的更改对您产生影响，请将terminology_use_previous系统变量设置为BEFORE_8_0_26，以使 MySQL Server 使用前面列表中指定对象的旧版本名称。 默认字符集从latin1更改为utf8mb4在 MySQL 8.0 中。 升级完成后，可以将默认字符集更改为utf8mb4。
91710编辑于 2024-06-26 - 来自专栏信数据得永生
MySQL8 中文参考（二十）
SESSION_TRACK_SCHEMA -- information_schema -- Tracker : SESSION_TRACK_STATE_CHANGE -- 1 SET NAMES 'utf8mb4 -- utf8mb4 -- character_set_results -- utf8mb4 -- Tracker : SESSION_TRACK_STATE_CHANGE -- 1 SET @@ ** CATALOG_NAME: def SCHEMA_NAME: mysql DEFAULT_CHARACTER_SET_NAME: utf8mb4 DEFAULT_COLLATION_NAME: utf8mb4_0900_ai_ci SQL_PATH: NULL DEFAULT_ENCRYPTION DEFAULT_COLLATION_NAME: utf8mb4_0900_ai_ci SQL_PATH: NULL DEFAULT_ENCRYPTION
81310编辑于 2024-06-25 - 来自专栏siri的开发之路
TencentPretrain框架实战之训练中文领域模型
在上一篇文章中，笔者简要总结了目前开源的中文LLaMA模型，本篇是以比较过后选择的TencentPretrain框架作为基座，使用开源语料训练和部署中文LLaMA领域模型的过程TencentPretrain 由于LLaMA模型是英文预训练模型，在中文化过程中已经经过一次迁移学习，因此在领域化时进一步对之前学习过的数据进行回放，避免发生灾难性遗忘（模型失去通用预训练阶段学习到的知识）法律语料库。 这一阶段的训练可以在TencentPretrain中使用现成的代码来完成：首先下载基础模型和训练框架，可以使用已经在中文上训练过的Chinese-LLaMA，以7B模型为例：git clone http ://git clone https://huggingface.co/Linly-AI/ChatFlow-7Bgit clone GitHub - Tencent/TencentPretrain: Tencent tokenizer.model \--config_path models/llama/7b_config.json \--output_model_path models/llama_zh_7b \--world_size 8
1K00编辑于 2023-09-26 - 来自专栏腾讯云智能·AI公有云
8小时玩转AI绘画 |《腾讯云AI绘画-StableDiffusion图像生成》训练营抢先学习！
人工智能正在加速渗透到千行百业与大众生活中，个体、企业该如何面对新一轮的AI技术浪潮？ 为了进一步帮助用户了解和使用腾讯云AI系列产品，腾讯云AI技术专家与传智教育人工智能学科高级技术专家正在联合打造《腾讯云AI绘画-StableDiffusion图像生成》训练营，训练营将通过8小时的学习带你玩转 AI绘画。 并配有专属社群答疑，助教全程陪伴，在AI时代，助你轻松上手人工智能，快速培养AI开发思维。全套课程在12月12日即将完整上线，欢迎对AI感兴趣的友友们抢先学习。 多位AI大牛深入浅出带你玩转AI绘画，8小时实现从0到1实战飞跃！参营更有官方结营证书、鹅厂公仔奖励等你来拿！点击报名，抢先学习《腾讯云AI绘画-StableDiffusion图像生成》训练营
1.3K31编辑于 2023-12-06 - 来自专栏机器之心
RoBERTa中文预训练模型，你离中文任务的「SOTA」只差个它
参与：思源、一鸣 有了中文文本和实现模型后，我们还差个什么？还差了中文预训练语言模型提升效果呀。 对于中文领域的预训练语言模型，我们最常用的就是 BERT 了，这并不是说它的效果最好，而是最为方便。 zh)，使用 30G 文件训练，9 月 8 日 6 层 RoBERTa 模型 (roberta_l6_zh)，使用 30G 文件训练，9 月 8 日 PyTorch 版本的模型 (roberta_l6_ zh_pytorch)，9 月 8 日 30G 中文语料，预训练格式，可直接训练（bert、xlent、gpt2），9 月 8 日 测试集测试和效果对比，9 月 14 日 看来该项目还要过几天才会完善， 现在，也许常用的中文预训练语言模型又要再新增一项，中文 RoBERTa。 小时，相当于在 TPU v3-8(128G 显存) 上需要训练一个月； 更大批次：使用了超大（8k）的批次 batch size； 调整优化器参数； 使用全词 mask（whole word mask
1.9K10发布于 2019-09-08 - 来自专栏算法工程师的学习日志
Python基础训练100题-8
程序分析：用else执行for循环的奖励代码（如果for是正常完结，非break）。
32410编辑于 2022-07-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号