- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习实践二三事
fine-tuning的二三事
固定前几层的参数，只对最后几层进行fine-tuning Pretrained models. pre-trained model作为初始化，fine-tuning整个网络 数据集小，相似度低 小数据集没有办法进行多层或者整个网络的fine-tuning，建议保持前几层不动，fine-tuning Caffe中如何进行fine-tuning Caffe做fine-tuning相对tensorflow很简单，只需要简单修改下配置文件就行了. (3) 训练 其实就已经改好了，是不是很简单，按照之前标准化的训练测试就好了 知乎上fine-tuning的介绍上有更加详细的介绍，可以移步去看. 参考 (1) NodYoung的博客 (2) CS231的transfer-learning (3) 知乎上关于caffe下做fine-tuning的介绍
793100发布于 2018-01-02 - 来自专栏架构驿站
Fine-Tuning Vs RAG ，该如何选择？
— 01 —高效赋能 LM 的利器—Fine-Tuning 什么是 Fine-Tuning （微调）？ — 03 —评估 Fine-Tuning & RAG 5 要素解析 在评估和应用 Fine-Tuning （微调）与 RAG（检索增强生成）等语言 AI 技术时，我们需要全面审视和深入权衡诸多关键因素 反观传统的 Fine-Tuning （微调）方式，其知识获取能力受到了诸多束缚。 相比之下， Fine-Tuning （微调）技术可以在很大程度上提高小型模型的效率和性能。 这是 Fine-Tuning （微调）技术的一大优势。 与 RAG 系统需要依赖较大模型的限制相比， Fine-Tuning （微调）可以充分利用小型模型的优势。
48310编辑于 2024-11-01 - 来自专栏炼丹笔记
No Fine-Tuning, Only Prefix-Tuning
炼丹笔记干货 作者：十方 说起fine-tuning，大家再熟悉不过了，NLP和CV领域基本都是各种预训练模型了。 使用预训练模型最重要的一步就是fine-tuning，因为下游任务是多种多样的，所以每种下游任务都要有个副本，并且finetune会改变所有的参数。 如下图所示: Prefix-Tuning prefix-tuning在生成式任务中可以替代fine-tuning，方法就是在自回归模型前加个prefix,z=[PREFIX;x;y]或者再encoder
1.1K40编辑于 2022-01-05 - 来自专栏云时之间
深度学习的fine-tuning过程
5) 最后是使用caffe的工具将fine-tuning的网络跑起来进行训练。 ?
1.6K60发布于 2018-04-11 RAG VS Fine-Tuning模型微调详解
为了解决这些问题，RAG和Fine-Tuning技术应运而生。 Fine-Tuning的功能点：定制化：通过Fine-Tuning，预训练模型可以更好地适应企业的特定知识领域和语言风格，生成更加准确且上下文一致的答案。 Fine-Tuning的优缺点：优点：高定制化：通过Fine-Tuning，模型可以更好地适应特定任务或领域，生成更加准确和上下文一致的答案。 Fine-Tuning的底层原理：Fine-Tuning的底层原理基于迁移学习，它通过对预训练好的大型模型进行小规模的参数调整，使其快速适应新任务或特定领域。 Fine-Tuning的Java代码模拟：由于Fine-Tuning涉及深度学习模型的参数调整，我们无法在Java中直接实现模型的训练过程。
50521编辑于 2024-11-22- 来自专栏技术圈
Universal Language Model Fine-tuning for Text Classification
参考论文：Universal Language Model Fine-tuning for Text Classification 迁移学习最早是应用于机器视觉方向的，迁移学习是从general 这篇论文提出的预训练方法和之前的迁移学习中微调方法在nlp中的不同点如下，这个在ELMO中也提到过： 使用task数据fine-tuning词向量（如glove这种），只更改模型的第一层 Discriminative fine-tuning，即对layer1，layer2和layer3采用不同的学习速率,η(l−1) =ηl/2.6 ,ηl为第l层的学习率。 为了避免全部fine-tuning导致语言模型对之前学到的general知识的遗忘，引入 Gradual unfreezing，从后往前（从layer3到layer1方向）逐步的添加。 BPTT for Text Classification，为了当输入文本很长时，可以较好的fine-tuning分类器，将文档拆成几个batch，每个batch的长度是一致的，哪一个batch促成了最后的
77620发布于 2019-08-21 - 来自专栏Datawhale专栏
大模型微调（Fine-Tuning）全流程思考
比如如果没有好好构建数据集，最后发现微调模型效果不佳是数据集的问题，就事倍功半了。
1.9K10编辑于 2024-12-20 - 来自专栏人工智能
Fine-Tuning 详解：理论与实践的结合
Fine-Tuning既有理论上的深厚基础，也在实践中被广泛应用，以实现更好的模型性能和更高效的资源利用。接下来将深入探讨什么是Fine-Tuning，以及它的实际用途。 Fine-Tuning的基本概念Fine-Tuning是在一个预训练模型的基础上进行优化的过程。预训练模型通常是在大规模数据集上经过长时间训练的，这使得它学会了丰富的特征表示。 Fine-Tuning的基本思想是分阶段训练神经网络。 Fine-Tuning的优势和挑战优势高效利用计算资源：通过使用预训练模型进行Fine-Tuning，可以显著减少模型训练的时间和所需的计算资源。 自动化Fine-Tuning：AutoML和NAS（神经架构搜索）等自动化机器学习方法也可以应用于Fine-Tuning过程，以实现自动化的超参数调优和层的选择，减少人工的参与，提高Fine-Tuning
15510编辑于 2026-03-07 - 来自专栏我还不懂对话
Fine-tuning过时啦，NLG生成任务如何Tuning？
XiangLi1999/PrefixTuningFine-tuning范式大家肯定都再熟悉不过，微调所有语言模型参数，而从gpt3出现之后提出的in-context learning，还是越来越火的prompt，fine-tuning 同时，最近也有lightweight fine-tuning，即固定语言模型大部分参数，微调2-4%任务相关的参数，但是作者认为还是太多。 [image-20220516000951329.png]如图，prefix-tuning每个任务有少量prefix的参数，约占整体0.1%，远小于lightweight fine-tuning的2-4%
1.5K60编辑于 2022-09-06 - 来自专栏陶士涵的菜地
openai模型个性化训练Embedding和fine-tuning区别
这种情况下通常有两种办法，一种是微调（fine-tuning），一种是嵌入（embedding）。
1.5K20编辑于 2023-05-11 - 来自专栏素质云笔记
SSD+caffe︱Single Shot MultiBox Detector 目标检测+fine-tuning（二）
教程其实就是一种fine-tuning，在VGG基础上进行训练SSD框架。
2.4K100发布于 2018-01-02 - 来自专栏一个正经的测试
什么是微调(fine-tuning)? 如何微调GPT-3.5 模型?
五星上将麦克阿瑟曾经说过：“在懂微调的测试工程师面前，我就是个弟弟” Fine-tuning (微调) 是一个可以有效让ChatGPT 输出符合我们预期的方法。 一、什么是微调(Fine-tuning)? 有什么好处? 在机器学习领域当中，微调(Fine-tuning) 是指在已经训练好的模型基础上，进一步调整，让你模型的输出能够更符合你的预期。 然后喂入Fine-tuning API 就可以完成了。这边指的成对资料，是输入搭配输出， 输入「亚洲最帅的三个男人是谁?」 二、如何使用Fine-tuning API? 我们可以透过OpenAI 提供的Fine-tuning API 来进行微调，以下为中文讲解，想了解更多可以参考OpenAI 的官方文件。 目前Fine-tuning API 接受JSONL 的格式如下。
4.3K32编辑于 2024-01-22 - 来自专栏我的充电站
文献阅读：Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning
文献阅读：Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning 1.
61620编辑于 2022-04-13 - 来自专栏大数据智能实战
机器视觉的情感判断实践（From Pixels to Sentiment: Fine-tuning CNNs for Visual Sentiment Prediction）
看到了2017年的一篇文章From Pixels to Sentiment: Fine-tuning CNNs for Visual Sentiment Prediction，对于其里面的视觉中的情感判断
1.1K100发布于 2018-01-09 - 来自专栏大鹅专栏：大数据到机器学习
使用transformer BERT预训练模型进行文本分类 及Fine-tuning
类似以上这些任务的设计，可以将预训练模型 fine-tuning 到各类任务上，但也不是总是适用的，有些 NLP 任务并不适合被 Transformer encoder 架构表示，而是需要适合特定任务的模型架构
13.1K21发布于 2021-07-30 - 来自专栏大鹅专栏：大数据到机器学习
使用transformer BERT预训练模型进行文本分类 及Fine-tuning
类似以上这些任务的设计，可以将预训练模型 fine-tuning 到各类任务上，但也不是总是适用的，有些 NLP 任务并不适合被 Transformer encoder 架构表示，而是需要适合特定任务的模型架构
4.9K41发布于 2021-07-30 - 来自专栏Python进阶之路
了解大语言模型的参数高效微调（Parameter-Effcient Fine-Tuning）
自然语言处理目前存在一个重要的范式：大规模预训练一般领域数据，并针对特定任务或领域进行微调（Fine-tuning）。
2.2K00编辑于 2024-05-25 - 来自专栏AIGC新知
OpenAI开放Fine-tuning 微调API，透露扩展自定义模型计划
OpenAI近期宣布了对其微调API的一系列改进，并扩展了其定制模型计划，旨在帮助开发者提高模型性能，减少延迟，提升准确性，并降低成本。这些改进包括了对GPT-3.5模型的自助微调API的增强，该API自2023年8月推出以来，已被数千家组织用来训练数十万个模型。
41810编辑于 2024-10-08 Fine-tuning：解锁企业级LLM应用，你选对技术栈了吗？
本文基于我过去三年在金融、医疗和零售行业的12个LLM项目实战经验，深度拆解RAG（检索增强生成）与微调（Fine-tuning）两大核心技术的底层逻辑与适用边界。 1.2Fine-tuning介绍：定制化LLM的“基因改造”术微调（Fine-tuning）本质是用企业专有数据调整预训练模型的权重参数。
5300编辑于 2026-03-09- 来自专栏自然语言处理(NLP)论文速递
大型语言模型（LLM） Fine-Tuning 经验之谈...（干货）
由于 ChatGPT 和 GPT4 兴起，如何让人人都用上这种大模型，是目前 AI 领域最活跃的事情。当下开源的 LLM（Large language model）非常多，可谓是百模大战。面对诸多开源本地模型，根据自己的需求，选择适合自己的基座模型和参数量很重要。选择完后需要对训练数据进行预处理，往往这一步就难住很多同学，无从下手，更别说 training。
2K51编辑于 2023-10-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号