- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI SPPECH
63_模型定制：领域微调技术
RLHF：基于人类反馈的强化学习 ├── 7. 数据工程：微调成功的基础 ├── 8. 评估与优化：确保微调效果 └── 9. 行业应用与最佳实践 1. ，资源需求降至原来的5%以下 自动化：微调流程自动化工具成熟，如LLaMA-Factory、XTuner等开源框架 混合化：多种微调技术组合使用，如LoRA+RLHF的混合策略 领域化：针对特定领域的专业化微调方法不断涌现 尽管资源消耗巨大，但在需要深度领域适配的场景中，全参数微调仍然是效果最佳的选择。 3.1 技术原理 全参数微调的核心思想是在保持模型架构不变的情况下，使用领域特定数据对所有模型参数进行更新： 全参数微调流程： 预训练模型 → 领域数据输入 → 前向传播 → 损失计算 → 反向传播 → 行业应用与最佳实践 9.1 金融领域微调案例 某大型金融机构在2025年实施的领域微调项目： 需求：构建专业的金融分析助手，能够准确理解金融术语，分析市场趋势，生成合规报告。
38610编辑于 2025-11-16 - 来自专栏AI SPPECH
103_领域微调：医疗与法律案例
领域微调的理论基础与挑战 1.1 领域微调的基本原理 领域微调是指在预训练大模型的基础上，使用特定领域的专业语料进行二次训练或微调，以使模型更好地适应特定领域的语言习惯、专业知识和任务需求。 执行微调 print("开始法律领域微调...") training_results = finetuner.fine_tune() # 7. 在进行跨领域微调时，可以采用以下领域知识融合技巧： 分阶段微调策略： 先在通用数据上预训练 然后在大规模领域数据上进行领域适应 最后在特定任务数据上进行微调 领域术语增强： 医疗领域：增强对医学术语 主要内容包括： 领域微调基础：详细介绍了领域微调的基本概念、原理和流程 医疗领域微调：实现了医疗数据集构建和医疗领域微调器 法律领域微调：实现了法律数据集构建和法律领域微调器 词汇优化技术：探讨了词汇表优化的重要性和实施方法 领域对比分析：对比了医疗与法律领域微调的异同点 未来，领域微调技术有望在以下方向继续发展： 多模态领域微调：结合文本、图像等多种模态信息进行领域微调 持续学习与知识更新：实现模型在领域知识更新时的高效适应
29810编辑于 2025-11-16 TransNormerLLM-7B Lora 微调
TransNormerLLM-7B Lora 微调 本节我们简要介绍如何基于 transformers、peft 等框架，对 TransNormerLLM-1B「备注：TransNormerLLM-358M /1B/7B的」 模型进行 Lora 微调。 Lora 是一种高效微调方法，深入了解其原理可参见博客：知乎|深入浅出Lora。 这个教程会在同目录下给大家提供一个 nodebook 文件，来让大家更好的学习。 在本节教程里，我们将微调数据集 huanhuan.json 放置在根目录 /dataset，该样本数据取自 huanhuan.json 指令集构建 LLM 的微调一般指指令微调过程。 所谓指令微调，是说我们使用的微调数据形如： { "instruction":"回答以下用户问题，仅输出答案。", "input":"1+1等于几?"
43810编辑于 2025-07-17DeepSeek-7B-chat Lora 微调
DeepSeek-7B-chat Lora 微调 概述 本节我们简要介绍如何基于 transformers、peft 等框架，对 DeepSeek-7B-chat 模型进行 Lora 微调。 Lora 是一种高效微调方法，深入了解其原理可参见博客：知乎|深入浅出Lora。 这个教程会在同目录下给大家提供一个 nodebook 文件，来让大家更好的学习。 指令集构建 LLM 的微调一般指指令微调过程。所谓指令微调，是说我们使用的微调数据形如： { "instrution":"回答以下用户问题，仅输出答案。" /deepseek-ai/deepseek-llm-7b-chat/', use_fast=False, trust_remote_code=True) tokenizer.padding_side = /deepseek-ai/deepseek-llm-7b-chat/', trust_remote_code=True, torch_dtype=torch.half, device_map="auto
41310编辑于 2025-07-17BlueLM-7B-Chat Lora 微调
BlueLM-7B-Chat Lora 微调 概述 本节我们简要介绍如何基于 transformers、peft 等框架，对 BlueLM-7B-Chat 模型进行 Lora 微调。 Lora 是一种高效微调方法，深入了解其原理可参见博客：知乎|深入浅出Lora。 ./04-BlueLM-7B-Chat Lora 微调.ipynb) 文件，来让大家更好的学习。 指令集构建 LLM 的微调一般指指令微调过程。所谓指令微调，是说我们使用的微调数据形如： { "instruction": "解释什么是人工智能。 torch.half, device_map="auto") model.generation_config = GenerationConfig.from_pretrained('vivo-ai/BlueLM-7B-Chat
31610编辑于 2025-07-17Qwen-7B-Chat Lora 微调
Qwen-7B-Chat Lora 微调 概述 本节我们简要介绍如何基于 transformers、peft 等框架，对 Qwen-7B-Chat 模型进行 Lora 微调。 Lora 是一种高效微调方法，深入了解其原理可参见博客：知乎|深入浅出Lora。 本节所讲述的代码脚本在同级目录 04-Qwen-7B-Chat Lora 微调 下，运行该脚本来执行微调过程，但注意，本文代码未使用分布式框架，微调 Qwen-7B-Chat 模型至少需要 24G 及以上的显存 指令集构建 LLM 的微调一般指指令微调过程。所谓指令微调，是说我们使用的微调数据形如： { "instrution":"回答以下用户问题，仅输出答案。" 不同模型所对应的格式化输入都不一样，所以需要我们深度模型的训练源码来查看，因为按照原本模型指令微调的形式进行Lora微调效果应该是最好的，所以我们依然遵循原本模型的输入格式。
85910编辑于 2025-07-17XVERSE-7B-Chat Lora 微调
概述 本节我们简要介绍如何基于 transformers、peft 等框架，对 XVERSE-7B-Chat 模型进行 Lora 微调。 Lora 是一种高效微调方法，深入了解其原理可参见博客：知乎|深入浅出Lora。 这个教程会在同目录下给大家提供一个 notebook 文件，来让大家更好的学习。 指令集构建 LLM 的微调一般指指令微调过程。所谓指令微调，是说我们使用的微调数据形如： { "instruction": "解释什么是人工智能。 torch.half, device_map="auto") model.generation_config = GenerationConfig.from_pretrained('xverse/XVERSE-7B-Chat True) print(result) 完整代码请看： https://github.com/datawhalechina/self-llm/blob/master/XVERSE/05-XVERSE-7B-Chat
26510编辑于 2025-07-21Qwen-7B-Chat Ptuning 微调
Qwen-7B-Chat Ptuning 微调 Ptuning原理 参考transformers-code 数据加载与模型配置与LoRa一致,在此具体讲一下Ptuning的细节: 基本原理为冻结主模型全部参数 PromptEncoderReparameterizationType.MLP: 'MLP'>, encoder_hidden_size=1024, encoder_num_layers=5, encoder_dropout=0.1) ''' 其余可见目录下微调脚本 Dataset.from_pandas(df) # 加载tokenizer tokenizer = AutoTokenizer.from_pretrained('/root/autodl-tmp/qwen/Qwen-7B-Chat ) # 创建模型并以半精度形式加载 model = AutoModelForCausalLM.from_pretrained('/root/autodl-tmp/qwen/Qwen-7B-Chat
41510编辑于 2025-07-17- 来自专栏Python与算法之美
Qwen7b微调保姆级教程
前方干货预警：这可能是你能够找到的，最容易理解，最容易跑通的，适用于各种开源LLM模型的，同时支持多轮和单轮对话数据集的大模型高效微调范例。 我们构造了一个修改大模型自我认知的3轮对话的玩具数据集，使用QLoRA算法，只需要5分钟的训练时间，就可以完成微调，并成功修改了LLM模型的自我认知(以Qwen7b-Chat为例)。 trust_remote_code=True) model.generation_config = GenerationConfig.from_pretrained(model_name_or_path) 微调前输出如下 collate_fn = data_collator) 二，定义模型 下面我们将使用QLoRA(实际上用的是量化的AdaLoRA）算法来微调 trust_remote_code=True) model.generation_config = GenerationConfig.from_pretrained(model_name_or_path) 我们测试一下微调后的效果
2.5K31编辑于 2023-09-17 Atom-7B-chat 全量微调
Atom-7B-chat 全量微调 修改代码 首先我们要准备训练模型的代码，这里我们使用的 modelscope 上的 Atom-7B-chat 模型，大家自行下载即可。 其实全量微调和 Lora 微调的代码基本一样，都采用了 Trainer 类来进行训练。 只不过在全量微调的时候没有加载 LoraConfig，那我就直接给出代码，如果对代有什么问题，大家可以先自行探索Qwen lora的代码解释，有什么不懂的地方可以提Issue。 /model/FlagAlpha/Atom-7B-Chat/") # 用于处理数据集的函数 def process_func(example): MAX_LENGTH = 128 # Llama 注意： 因为本脚本使用了adam_cpu来加载优化器参数，所以全量微调所需的显存会比较小，但仍然需要使用至少4张24G显存的卡来训练。
24710编辑于 2025-07-17Qwen-7B-chat 全量微调
Qwen-7B-chat 全量微调 修改代码 首先我们要准训练模型的代码，这里我们使用的 modelscope 上的 Qwen-7B-chat 模型，大家自行下载即可。 其实全量微调和 Lora 微调的代码基本一样，都采用了 Trainer 类来进行训练。 只不过在全量微调的时候没有加载 LoraConfig，那我就直接给出代码，如果对代有什么问题，大家可以先自行探索Qwen lora的代码解释，有什么不懂的地方可以提Issue。 /model/qwen/Qwen-7B-Chat/") # 用于处理数据集的函数 def process_func(example): MAX_LENGTH = 128 # Llama分词器会将一个中文字切分为多个 注意： 因为本脚本使用了adam_cpu来加载优化器参数，所以全量微调所需的显存会比较小，但仍然需要使用至少4张24G显存的卡来训练。
54110编辑于 2025-07-17Baichuan2-7B-chat lora 微调
Baichuan2-7B-chat lora 微调 概述： 本节我们简要介绍如何基于 transformers、peft 等框架，对 Baichuan2-7B-chat模型进行 Lora 微调。 Lora 是一种高效微调方法，深入了解其原理可参见博客：知乎|深入浅出Lora。 这个教程会在同目录下给大家提供一个 nodebook 文件，来让大家更好的学习。 ',cache_dir='/root/autodl-tmp', revision='v1.0.4') 指令集构建： LLM 的微调一般指指令微调过程。 所谓指令微调，是说我们使用的微调数据形如： { "instrution":"回答以下用户问题，仅输出答案。", "input":"1+1等于几?" tokenizer和半精度模型： import torch model = AutoModelForCausalLM.from_pretrained('baichuan-inc/Baichuan2-7B-Chat
27410编辑于 2025-07-17- 来自专栏AI人工智能
领域专用AI模型训练指南：医疗、法律、金融三大垂直领域微调效果对比
领域专用AI模型训练指南：医疗、法律、金融三大垂直领域微调效果对比 Hello，我是摘星！ 在彩虹般绚烂的技术栈中，我是那个永不停歇的色彩收集者。 这些差异化需求决定了我们不能简单地使用一套通用的微调策略，而需要针对每个领域的特点制定专门的训练方案。通过对比实验，我发现领域专用模型在专业任务上的表现显著优于通用模型。 在医疗诊断准确率测试中，经过专业微调的模型比通用模型提升了35%；在法律条文匹配任务中，专业模型的精确度提升了42%；在金融风险预测方面，专业模型的预测准确率提升了28%。 7. 参考链接Transformers模型微调最佳实践医疗AI应用伦理指南法律科技发展报告金融AI风险管理框架领域适应学习综述关键词标签#领域专用AI #模型微调 #医疗AI #法律科技 #金融风控
85210编辑于 2025-08-21 Atom-7B-Chat 的 Lora 指令微调
Atom-7B-Chat 的 Lora 指令微调 概述 本节我们简要介绍如何基于 transformers、peft 等框架，对 Atom-7B-Chat 模型进行 Lora 微调。 Lora 是一种高效微调方法，深入了解其原理可参见博客：知乎|深入浅出Lora。 本节所讲述的代码脚本在同级目录 02-Atom-7B-Chat Lora 下，可以通过运行目录下 train.sh 脚本来执行微调过程，但注意，本文代码未使用分布式框架，微调 Atom-7B 模型至少需要 指令集构建 LLM 的微调一般指指令微调过程。所谓指令微调，是说我们使用的微调数据形如： { "instrution":"回答以下用户问题，仅输出答案。" 模型的 Lora 微调。
25110编辑于 2025-07-17- 来自专栏AIGC 先锋科技
全面增强LLM的多领域性能，新型微调框架，实现LLM的跨领域知识均衡 ！
尽管它们具有潜力，但现有研究主要关注微调过程中的特定领域增强，其中挑战在于其他领域的知识灾难性遗忘。 数据组合策略在参数范围为7B-14B的开源模型上进行微调后，取得了显著的改进，进一步增强了VersaTune的有效性。 接着，作者使用专有的LLM推理出这些条目属于每个域的概率（Line 5-7）。然后，作者计算这些域内所有数据概率分布的加权平均值，从而得出当前基础模型的域知识分布（Line 9）。 这些评分随后用于在组合SFT数据集中微调每个领域的表示，以确保在整个微调过程中各个领域的能力均衡发展（Line 3-7）。同时，模型M_θ的参数根据通过反向传播计算的梯度进行更新（Line 8）。 7 Conclusion 大型语言模型（LLM）在多个领域的多样化能力至关重要。现有的LLM微调方法通常专注于单一领域任务，导致其他领域的性能显著下降。
72810编辑于 2024-12-30 InternLM2-7B-chat Xtuner Qlora 微调
InternLM2-7B-chat Xtuner Qlora 微调 Xtuner介绍 XTuner是上海人工智能实验室开发的低成本大模型训练工具箱，XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库 最低只需 8GB 显存，就可以微调InternLM2-7B模型，打造专属于你的 AI 助手。 XTuner 支持在 8GB 显存下微调 7B 模型，同时也支持多节点跨设备微调更大尺度模型（70B+）。 灵活 支持多种大语言模型，包括但不限于 InternLM、Mixtral-8x7B、Llama2、ChatGLM、Qwen、Baichuan。 支持多模态图文模型 LLaVA 的预训练与微调。 微调启动 xtuner train /root/autodl-tmp/ft-learn/config/internlm2_chat_7b_qlora_oasst1_e3_career_coach.py
58710编辑于 2025-07-17- 来自专栏SimpleAI
Huggingface🤗NLP笔记7：使用Trainer API来微调模型
「HuggingfaceNLP笔记系列-第7集」 最近跟着Huggingface上的NLP tutorial走了一遍，惊叹居然有如此好的讲解Transformers系列的NLP教程，于是决定记录一下学习的过程 下载本地可直接运行)：https://github.com/beyondguo/Learn_PyTorch/tree/master/HuggingfaceNLP ---- 使用Trainer API来微调模型
9.2K31发布于 2021-10-08 - 来自专栏自然语言处理(NLP)论文速递
UC伯克利 | 提出索增强微调(RAFT)，只需少量微调，就能大幅提升模型领域QA能力
为了有效地让模型掌握这些新知识，本文作者提出了一种名为「检索增强微调（RAFT）」 的方法。这是一种简单而强大的微调方法，只需简单的微调，就可大幅提升模型在“开卷”特定领域下的问答性能。 「RAFT方法关注的是更加细分的特定领域，并在此领域上进行开卷考试」。LLM可以使用所有在这个特定领域内经过微调的信息来回应用户的提问。 本篇文章主要研究的就是这样的特定领域开卷设置，以及如何让预训练的LLM适应这个特定领域，包括如何让它对检索到的文档数量的变化和干扰项更加稳健。 RAFT方法介绍 RAFT（检索增强微调）是一种新方法，用于准备数据微调，以便对模型定制化以适应特定领域的”开卷考试“，也就是领域内的RAG。 如下图所示，RAFT 提高了所有专业领域的 RAG 性能，在下面测试集上可以看到特定领域的微调显着提高了基础模型的性能，但 RAFT 始终优于现有的特定领域微调方法。
1.1K10编辑于 2024-03-25 - 来自专栏AI
微调
在高层次上，微调包括以下步骤：准备并上传训练数据训练一个新的微调模型评估结果，如果需要，返回到步骤 1使用您的微调模型访问我们的定价页面，了解有关微调模型训练和使用的更多信息。 可以进行微调的模型有哪些？GPT-4的微调目前处于实验性访问计划中 - 符合条件的用户可以在创建新的微调任务时在微调界面上申请访问权限。 { "object": "fine_tuning.job.checkpoint", "id": "ftckpt_zc4Q7MP6XxulcVzj4MZdwsAB", "created_at 微调可以用于创建一个专注于特定领域的模型，并表现出特定的内在行为模式。检索策略可以通过在生成响应之前为模型提供相关背景来使新信息对模型可用。 我可以继续微调已经微调过的模型吗？是的，您可以在创建微调作业时将已微调模型的名称传递给模型参数。这将以已微调模型为起点开始一个新的微调作业。我如何估计微调模型的成本？请参考上文中的成本估算部分。
71010编辑于 2024-04-20 DeepSeek-7B-chat 4bits量化 QLora 微调
DeepSeek-7B-chat 4bits量化 QLora 微调 概述 本节我们简要介绍如何基于 transformers、peft 等框架，对 DeepSeek-7B-chat 模型进行 Lora 微调。 Lora 是一种高效微调方法，深入了解其原理可参见博客：知乎|深入浅出Lora。 这个教程会在同目录下给大家提供一个 nodebook 文件，来让大家更好的学习。 通过这种方式训练，可以用6G显存轻松训练一个7B的模型。我的笔记本也能训练大模型辣！太酷啦！ 指令集构建 LLM 的微调一般指指令微调过程。所谓指令微调，是说我们使用的微调数据形如： { "instrution":"回答以下用户问题，仅输出答案。"
52710编辑于 2025-07-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号