- 综合排序
- 最热优先
- 最新优先
- 来自专栏DeepHub IMBA
使用ORPO微调Llama 3
ORPO是一种新的微调技术，它将传统的监督微调和偏好对齐阶段结合到一个过程中。减少了训练所需的计算资源和时间。 我们将使用ORPO和TRL库对新的Llama 3 8b模型进行微调。 ORPO 指令调优和偏好对齐是使大型语言模型(llm)适应特定任务的基本技术。 ，所以我们可以直接就拿来用 ORPO微调Llama 3 Llama 3已经发布了两种模型大小:700亿参数模型和较小的80亿参数模型。 model = PeftModel.from_pretrained(model, new_model) model = model.merge_and_unload() 这样，我们就完成了Llama 3的快速微调 usp=sharing orpo作者微调Llama 3的log https://huggingface.co/orpo-explorers/hf-llama3-8b-orpo-v0.0/tensorboard
89010编辑于 2024-04-26 - 来自专栏技术趋势
chatGLM3-LoRA微调实战
为什么要微调？ 微调的主要目的是通过在特定任务上对预训练模型进行进一步训练，以适应该任务的需求，从而提高模型在该任务上的性能。 注意：ChatGLM3-6B-Base 和 ChatGLM3-6B-32K 模型不支持微调。 啥是泛化能力？ 有哪些微调方式？ ──────────────── Traceback (most recent call last) ──────────────────────╮ │ /data/llm/llama/ChatGLM3/ 参考文献： https://zhuanlan.zhihu.com/p/646791309 https://github.com/THUDM/ChatGLM3/blob/main/finetune_demo
1.9K10编辑于 2024-03-22 - 来自专栏xiaosen
LLaMA Factory微调Llama3模型
LLaMA Factory是一款开源低代码大模型微调框架，集成了业界最广泛使用的微调技术，支持通过Web UI界面零代码微调大模型，目前已经成为开源社区内最受欢迎的微调框架。 llama3-8B模型尝试一下 安装LLaMA Factory 拉取LLaMA-Factory项目 git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git } ] } ] 模型微调 我们不光可以通过命令行进行微调，还可以启动一个webui来微调推理 ! 界面： 数据集使用上述下载的train.json，点击「预览数据集」可以预览一下数据 设置学习率为1e-4，梯度累积为2，有利于模型拟合，其他的可以按需调整； 将输出目录修改为train_llama3， 选择「Chat」栏，确保适配器路径是train_llama3，点击「加载模型」即可在Web UI中和微调模型进行对话。 模型微调之前的对话： 微调之后：
64410编辑于 2024-09-05 LLaMA3-8B-Instruct Lora 微调
本节我们简要介绍如何基于 transformers、peft 等框架，对 LLaMA3-8B-Instruct 模型进行 Lora 微调。 Lora 是一种高效微调方法，深入了解其原理可参见博客：知乎|深入浅出 Lora。 这个教程会在同目录下给大家提供一个 nodebook 文件，来让大家更好的学习。 https://www.codewithgpu.com/i/datawhalechina/self-llm/self-llm-LLaMA3 在本节教程里，我们将微调数据集放置在根目录 /dataset 8B-Instruct', cache_dir='/root/autodl-tmp', revision='master') 指令集构建 LLM 的微调一般指指令微调过程。 所谓指令微调，是说我们使用的微调数据形如： { "instruction": "回答以下用户问题，仅输出答案。", "input": "1+1等于几?"
64810编辑于 2025-07-21ChatGLM3-6B-chat Lora 微调
06-ChatGLM3-6B-chat Lora 微调 概述 本节我们简要介绍如何基于 transformers、peft 等框架，对 ChatGLM3-6B-chat 模型进行 Lora 微调。 Lora 是一种高效微调方法，深入了解其原理可参见博客：知乎|深入浅出Lora。 本节所讲述的代码脚本在同级目录 ChatGLM3-6B-chat Lora 微调 下，运行该脚本来执行微调过程，但注意，本文代码未使用分布式框架，微调 ChatGLM3-6B-Chat 模型至少需要 21G 指令集构建 LLM 的微调一般指指令微调过程。所谓指令微调，是说我们使用的微调数据形如： { "instrution":"回答以下用户问题，仅输出答案。" 不同模型所对应的格式化输入都不一样，所以需要我们深度模型的训练源码来查看，因为按照原本模型指令微调的形式进行Lora微调效果应该是最好的，所以我们依然遵循原本模型的输入格式。
51010编辑于 2025-07-17- 来自专栏AI
微调
可以进行微调的模型有哪些？GPT-4的微调目前处于实验性访问计划中 - 符合条件的用户可以在创建新的微调任务时在微调界面上申请访问权限。 要估算特定微调作业的成本，请使用以下公式：每1000个令牌的基本成本 输入文件中的令牌数 训练的纪元数对于一个包含100,000个令牌的训练文件，经过3个纪元的训练，预期成本将约为2.40美元。 目前，仅保存并可用于使用的作业的最后3个纪元的检查点。我们计划在不久的将来发布更复杂和灵活的检查点策略。 step,train_loss,train_accuracy,valid_loss,valid_mean_token_accuracy1,1.52347,0.0,,2,0.57719,0.0,,3,3.63525,0.0 我可以继续微调已经微调过的模型吗？是的，您可以在创建微调作业时将已微调模型的名称传递给模型参数。这将以已微调模型为起点开始一个新的微调作业。我如何估计微调模型的成本？请参考上文中的成本估算部分。
70910编辑于 2024-04-20 Phi-3-mini-4k-Instruct Lora 微调
本节我们简要介绍如何基于 transformers、peft 等框架，对 Phi-3-mini-4k-Instruct 模型进行 Lora 微调。 Lora 是一种高效微调方法，深入了解其原理可参见博客：知乎|深入浅出 Lora。 这个教程会在同目录下给大家提供一个 nodebook 文件，来让大家更好的学习。 https://www.codewithgpu.com/i/datawhalechina/self-llm/Phi-3-Lora 在本节教程里，我们将微调数据集放置在根目录 /dataset。 mini-4k-instruct', cache_dir='/root/autodl-tmp', revision='master') 指令集构建 LLM 的微调一般指指令微调过程。 所谓指令微调，是说我们使用的微调数据形如： { "instruction": "回答以下用户问题，仅输出答案。", "input": "1+1等于几?"
37010编辑于 2025-07-21- 来自专栏NLP/KG
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
随着大语言模型的发展，模型的参数量越来越大，比如 GPT-3 参数量已经高达 1750 亿，因此，微调所有模型参数变得不可行。 当使用自适应优化器时，由于不需要计算梯度以及保存太多模型参数，LoRA 使得微调效果更好，并将微调的硬件门槛降低了 3 倍。 LoRA 与其它多种微调方法不冲突，可以与其它微调方法相结合，比如下节实训将要介绍的前缀调优方法等。 3. 5.关键知识点总结 SFT监督微调时监督微调时，学习率通常会设置得很小 常见误区：1.监督微调需要大量的训练时间和数据 2.监督微调将复制源模型的所有参数至目标模型 3.监督微调只需要几十条监督数据即可 监督微调常见任务：1.用中文预训练BERT模型完成中文实体识别任务 2.训练语言模型GPT3 3.UIE模型在垂直领域的数据集上微调 常见误区：在ImageNet上的预训练的模型再来训练目标检测任务
10.1K66编辑于 2023-10-11 XTuner 微调
指令跟随微调 PATTERN: internlm2 ------------------------------- internlm2_1_8b_full_alpaca_e3 internlm2_1_8b_full_custom_pretrain_e1 xtuner train 命令用于启动模型微调进程。该命令需要一个参数：CONFIG 用于指定微调配置文件。 对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。 增量预训练微调 定义一些基本方法。 在 PART 2 的部分，由于我们复制的配置文件是全参数微调的配置，而我们希望使用 QLoRA 算法进行微调，所以可以添加 QLoRA 算法的配置。
47510编辑于 2024-10-10- 来自专栏AI理论与前沿
对于大模型，到底微调还是不微调？
QLoRA 这样的算法使得使用有限资源对大模型进行微调变得更加可行。作为示例，表 1 显示了 Llama 2 7B 的三种微调模式（全微调、LoRA 和 QLoRA）的峰值 GPU 内存。 我们提供三个示例：微调 LLM 以更好地使用或忽略来自检索器的上下文微调 LLM 评审模型来评估其他 LLM 的指标，如扎根性、合规性或有用性微调 LLM 来增加上下文窗口2 微调与其他领域适应技术的比较 2.1 微调 vs. 2.2 微调 V.S RAG共识是，当 LLM 的基础性能不令人满意时，你可以“从 RAG 开始，评估其性能，如果不够理想，再转向微调”，或者“RAG 可能比微调更有优势” (来源)。 3 总结请参考上述问题，以指导你是否需要 RAG 和/或微调，并通过内部实验来分析错误并理解可能的指标提升。最后，微调探索确实需要一个稳健的数据收集和数据改进策略，我们建议在开始微调之前进行这一步。
92800编辑于 2024-09-17 - 来自专栏对白的算法屋
当我在微调的时候我在微调什么？
可以发现仅仅是参数初始化不同，分类器的性能足足有3-4个百分点的变化。 通过比较微调前后不同簇之间的距离，可以量化微调之后的词向量表示的变化。 分类器探针接到BERT输出层，跟着BERT一起微调。为了降低微调过程中不稳定性的影响，同一个任务作者使用不同的初始化参数进行了五次微调。 使用原始train对BERT~small~进行微调，微调前后均只使用subtrain训练分类器。分类器的训练不参与微调。 如下图所示，微调前分类器在subtest和test上的学习曲线一致。 比如，微调前蓝点和红点相距很近，微调后两个类别的距离增大了(L2>L1)。高层Layer12分离不同类别的能力比低层Layer1更强(L3>L2)。
2.1K10编辑于 2022-04-01 - 来自专栏NLP/KG
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
随着大语言模型的发展，模型的参数量越来越大，比如 GPT-3 参数量已经高达 1750 亿，因此，微调所有模型参数变得不可行。 当使用自适应优化器时，由于不需要计算梯度以及保存太多模型参数，LoRA 使得微调效果更好，并将微调的硬件门槛降低了 3 倍。 LoRA 与其它多种微调方法不冲突，可以与其它微调方法相结合，比如下节实训将要介绍的前缀调优方法等。 3. 5.关键知识点总结 SFT监督微调时监督微调时，学习率通常会设置得很小 常见误区：1.监督微调需要大量的训练时间和数据 2.监督微调将复制源模型的所有参数至目标模型 3.监督微调只需要几十条监督数据即可 监督微调常见任务：1.用中文预训练BERT模型完成中文实体识别任务 2.训练语言模型GPT3 3.UIE模型在垂直领域的数据集上微调 常见误区：在ImageNet上的预训练的模型再来训练目标检测任务
25.6K07编辑于 2023-07-16 - 来自专栏蓝天
Ubuntu系统微调
在学习本章前，你需要先阅读 Ubuntu 系统安装提示, 第 3 章. 如是你很关心安全方面的信息，你应该阅读 Securing Debian Manual，它在 harden-doc 软件包中。 hdparm -q -c3 -d1 -u1 -m16 /dev/hda 加速新型 IDE 系统。（有一定风险。） setcd 压缩磁盘存取优化。 setcd -x 2 减速至 2x speed。 对串口/调制解调器加速后获得原来 3 倍的吞吐量。 scanport：扫描 I/O 空间的 0x100 至 0x3ff 地址段，查找已安装的 ISA 设备。 如果你希望强化密码政策，可安装 cracklib2 并按下面的方法修改/etc/pam.d/passwd： password required pam_cracklib.so retry=3 minlen=6 difok=3 使用一次性登录密码激活帐户也很有用。
1.1K30发布于 2018-08-07 - 来自专栏AI
大模型微调
二、第二类：部分微调（Partial Fine-tuning） 底层核心原理 基于预训练模型的特征分层特性，冻结模型底层/中层的通用特征参数，仅微调上层的任务特定特征参数，是全量微调的轻量化改进版。 核心设计逻辑 Transformer类预训练模型的底层层（如前3-4层）学习的是通用语言特征（如词性、句法、基础语义），所有任务通用；上层层（如后3-4层）学习的是抽象任务特征（如语义匹配、领域专属表达 -3层； 微调嵌入层+顶层：针对低资源语言/领域，微调词嵌入层（适配任务专属词汇）+顶层特征层。 3. 3.
53710编辑于 2026-02-09 - 来自专栏AI技术探索和应用
ChatGLM模型微调
ChatGLM3: https://github.com/THUDM/ChatGLM3微调前建议将模型下载到本地。微调前还需要安装依赖。 conda create -n chatglm3 python=3.11 -ypip install astunparse对话模型微调我们使用 ToolAlpaca 数据集来进行微调。 /scripts/format_advertise_gen.py --path "AdvertiseGen/train.json"（3）以下脚本提供了微调模型的参考方式，如果是单卡，则需要指定对应的显卡 inference.py \ --tokenizer THUDM/chatglm3-6b \ --model "path to finetuned model checkpoint" 基座模型微调 /scripts/format_advertise_gen.py --path "AdvertiseGen/train.json"（3）微调脚本.
1.7K21编辑于 2025-09-26 - 来自专栏相约机器人
PyTorch模型微调实例
其实就是为了我们进行微调使用的。 什么是微调 针对于某个任务，自己的训练数据不多，那怎么办？ 这时候如果还想用上大型神经网络的超强特征提取能力，只能靠微调已经训练好的模型。 2. 我个人的理解，微调应该是迁移学习中的一部分。微调只能说是一个trick。 如何微调 对于不同的领域微调的方法也不一样，比如语音识别领域一般微调前几层，图片识别问题微调后面几层，这个原因我这里也只能讲个大概，具体还要大神来解释： 对于图片来说，我们CNN的前几层学习到的都是低级的特征 微调实例 这里面我们使用官方训练好的resnet50来参加kaggle上面的 dog breed 狗的种类识别来做一个简单微调实例。
2K10发布于 2020-02-19 - 来自专栏自然语言处理(NLP)论文速递
北航&北大 | 提出统一微调框架，整合前沿微调方法，可支持100多种LLMs的微调！
为了能够实现对大模型的高效微调，本文作者提出了一个统一的大模型微调框架：LLAMAFACTORY，该框架整合了一系列前沿的高效微调方法，支持对100多种大模型的微调。 为了解决上述问题，本文作者提出了一个名为LLAMAFACTORY的框架，它通过可扩展的模块统一了多种高效微调方法，使用户能够在最小的资源消耗和高吞吐量下微调数百个LLMs。 LLAMAFACTORY微调方法 LLAMAFACTORY框架中的高效微调技术（Efficient Fine-Tuning Techniques）主要分为两大类：优化方法和计算方法。 它通过集成最新的高效微调技术，提供了一种独立于具体训练任务的微调方法，并且能够通过DeepSpeed进一步降低内存消耗。 这突出了这些高效微调方法在适应特定任务方面的有效性。
1.2K11编辑于 2024-03-26 - 来自专栏AI 大数据
深度探索 DeepSeek 微调：LoRA 与全参数微调实战指南
本篇文章将介绍 LoRA（Low-Rank Adaptation）、全参数微调 等微调策略，并提供详细的代码示例，帮助开发者高效定制 DeepSeek 以适应特定任务。为什么要微调 DeepSeek？ 因此，采用高效微调策略（如 LoRA、全参数微调）可以在减少计算资源消耗的同时，实现高效定制化优化。常见微调策略LoRA（低秩适配）：适用于 计算资源有限 的场景。 /lora_model", per_device_train_batch_size=4, num_train_epochs=3, save_steps=100, logging_dir /full_finetune", per_device_train_batch_size=2, num_train_epochs=3, save_strategy="epoch", 全参数微调方式计算资源适用场景LoRA低轻量级微调，适合小数据集全参数微调高需要强大计算资源，适合大规模训练QA 环节Q1: LoRA 训练后如何推理？
7.2K75编辑于 2025-02-07 - 来自专栏DeepHub IMBA
使用LORA微调RoBERTa
模型微调是指在一个已经训练好的模型的基础上，针对特定任务或者特定数据集进行再次训练以提高性能的过程。微调可以在使其适应特定任务时产生显着的结果。 "Low-Rank Adaptation"（低秩自适应）是一种用于模型微调或迁移学习的技术。 一般来说我们只是使用LORA来微调大语言模型，但是其实只要是使用了Transformers块的模型，LORA都可以进行微调，本文将介绍如何利用PEFT库，使用LORA提高微调过程的效率。 并且在某些情况下，性能不如完全微调的模型最优，这个需要根据不同的需求来进行测试。 首先我们安装需要的包： ! ，可以看到使用LORA进行微调可以大大减少训练的参数和时间，但是在准确性方面还是要比完整的微调要稍稍下降。
91511编辑于 2024-02-21 - 来自专栏云同步
ms-swift 微调 internlm3-8b-instruct（论文分类任务）
8b-instruct 微调框架：ms-swift 训练方式：（预训练 + SFT）Lora 目标 对 InternLM 系列模型 进行微调，使其能够完成论文分类任务，然后进行打榜 Docs 安装 ms-swift conda 虚拟环境，环境名称为 swift，python 的版本为 3.10 conda create -n swift python=3.10 2）切换 环境 conda activate swift 3） 8b-pretrain.sh 3）查看日志 # 要复制脚本执行后的，最后一条命令 tail -f logs/internlm3-8b_lora_sft_20250622_140355.log 4）训练结束 eval_oc_data_val.csv 注意：我下面不是用的这个评测集进行评测的，我把他移动到 /root/datasets/eval，并改名为 newformat_sft_test_data_val.csv 微调前 {"general_mcq": {"local_path": "/root/datasets/eval", "subset_list": ["newformat_sft_test_data"]}}' 微调后
70010编辑于 2025-08-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号