- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI SPPECH
63_模型定制：领域微调技术
引言：为什么需要模型定制与微调 ├── 2. 微调技术体系：从全参数到参数高效 ├── 3. 全参数微调：深度定制的经典路径 ├── 4. 参数高效微调：资源受限下的优化选择 ├── 5. 高 Prefix Tuning 中(20-30%) 较快 ★★★☆☆ 序列生成任务，资源有限 中 LoRA 低(5-10%) 快 ★★★★☆ 资源受限场景，需要高效微调 极高 QLoRA 极低(2-5% ，资源需求降至原来的5%以下 自动化：微调流程自动化工具成熟，如LLaMA-Factory、XTuner等开源框架 混合化：多种微调技术组合使用，如LoRA+RLHF的混合策略 领域化：针对特定领域的专业化微调方法不断涌现 3.1 技术原理 全参数微调的核心思想是在保持模型架构不变的情况下，使用领域特定数据对所有模型参数进行更新： 全参数微调流程： 预训练模型 → 领域数据输入 → 前向传播 → 损失计算 → 反向传播 → 行业应用与最佳实践 9.1 金融领域微调案例 某大型金融机构在2025年实施的领域微调项目： 需求：构建专业的金融分析助手，能够准确理解金融术语，分析市场趋势，生成合规报告。
38610编辑于 2025-11-16 - 来自专栏AI SPPECH
103_领域微调：医疗与法律案例
领域微调的理论基础与挑战 1.1 领域微调的基本原理 领域微调是指在预训练大模型的基础上，使用特定领域的专业语料进行二次训练或微调，以使模型更好地适应特定领域的语言习惯、专业知识和任务需求。 在进行跨领域微调时，可以采用以下领域知识融合技巧： 分阶段微调策略： 先在通用数据上预训练 然后在大规模领域数据上进行领域适应 最后在特定任务数据上进行微调 领域术语增强： 医疗领域：增强对医学术语 主要内容包括： 领域微调基础：详细介绍了领域微调的基本概念、原理和流程 医疗领域微调：实现了医疗数据集构建和医疗领域微调器 法律领域微调：实现了法律数据集构建和法律领域微调器 词汇优化技术：探讨了词汇表优化的重要性和实施方法 领域对比分析：对比了医疗与法律领域微调的异同点 未来，领域微调技术有望在以下方向继续发展： 多模态领域微调：结合文本、图像等多种模态信息进行领域微调 持续学习与知识更新：实现模型在领域知识更新时的高效适应 跨领域知识融合：开发更有效的跨领域知识迁移方法 隐私保护领域微调：在保护敏感数据的前提下进行高效微调 通过不断优化和创新领域微调技术，我们可以更好地发挥大语言模型在特定领域的潜力，为医疗、法律等专业领域提供更智能
29810编辑于 2025-11-16 - 来自专栏AI人工智能
领域专用AI模型训练指南：医疗、法律、金融三大垂直领域微调效果对比
领域专用AI模型训练指南：医疗、法律、金融三大垂直领域微调效果对比 Hello，我是摘星！ 在彩虹般绚烂的技术栈中，我是那个永不停歇的色彩收集者。 这些差异化需求决定了我们不能简单地使用一套通用的微调策略，而需要针对每个领域的特点制定专门的训练方案。通过对比实验，我发现领域专用模型在专业任务上的表现显著优于通用模型。 在医疗诊断准确率测试中，经过专业微调的模型比通用模型提升了35%；在法律条文匹配任务中，专业模型的精确度提升了42%；在金融风险预测方面，专业模型的预测准确率提升了28%。 5. 参考链接Transformers模型微调最佳实践医疗AI应用伦理指南法律科技发展报告金融AI风险管理框架领域适应学习综述关键词标签#领域专用AI #模型微调 #医疗AI #法律科技 #金融风控
85210编辑于 2025-08-21 【大模型微调】一文掌握5种大模型微调的方法
（Prompt Tuning）在内的5种主流方法。 大模型微调究竟是什么？直观上，大模型微调即是指通过输入特定领域或任务的数据，并有选择性地调整模型参数的技术过程。 我们所讨论的5种微调方法，本质上都是对这个基础架构中自注意力机制与前馈神经网络等核心组件的参数进行优化的不同策略。 5、提示调整-轻量级的参数优化提示调整（Prompt Tuning）是一种“润物细无声”的微调，不改变模型自身，而是通过优化输入提示词的嵌入表示来引导模型输出。 》：汇集金融、医疗、汽车、法律、保险等众多领域大模型先锋案例《开箱即用微调数据集精选》：涵盖指令微调、对话、专业领域问答与代码生成等多个实战场景这份价值399元的精华资料，现在免费分享给前100位读者。
3.5K40编辑于 2025-10-23- 来自专栏AIGC 先锋科技
全面增强LLM的多领域性能，新型微调框架，实现LLM的跨领域知识均衡 ！
接着，作者使用专有的LLM推理出这些条目属于每个域的概率（Line 5-7）。然后，作者计算这些域内所有数据概率分布的加权平均值，从而得出当前基础模型的域知识分布（Line 9）。 在第t个训练步骤中，作者计算每个领域的可学习潜力分数和遗忘程度分数（第4-5行），并按照算法2的方法为当前阶段分配领域权重（第6行）。 在需要专注培养的领域的剩余学习边际和模型对其他领域的遗忘程度之间需要进行权衡：如果特定领域的改进收益超过其他领域的平均遗忘程度（比例大于ε），作者通过δ增加当前特定领域的数据权重，并按照公式（5）相应地减少其他领域的权重 在微调过程中，作者使用了一个学习率调度器，具有线性 Warm up 和余弦衰减，峰值学习率为2e-5， Warm up 比为0.03，权重衰减为0.0，批处理大小为128，共4个epoch。 5 Ablations and Analysis 在第4节中，作者证明了VersaTune在增强多个能力并使模型在微调阶段实现灵活的领域扩展方面的有效性。
72810编辑于 2024-12-30 - 来自专栏自然语言处理(NLP)论文速递
UC伯克利 | 提出索增强微调(RAFT)，只需少量微调，就能大幅提升模型领域QA能力
为了有效地让模型掌握这些新知识，本文作者提出了一种名为「检索增强微调（RAFT）」 的方法。这是一种简单而强大的微调方法，只需简单的微调，就可大幅提升模型在“开卷”特定领域下的问答性能。 「RAFT方法关注的是更加细分的特定领域，并在此领域上进行开卷考试」。LLM可以使用所有在这个特定领域内经过微调的信息来回应用户的提问。 本篇文章主要研究的就是这样的特定领域开卷设置，以及如何让预训练的LLM适应这个特定领域，包括如何让它对检索到的文档数量的变化和干扰项更加稳健。 RAFT方法介绍 RAFT（检索增强微调）是一种新方法，用于准备数据微调，以便对模型定制化以适应特定领域的”开卷考试“，也就是领域内的RAG。 如下图所示，RAFT 提高了所有专业领域的 RAG 性能，在下面测试集上可以看到特定领域的微调显着提高了基础模型的性能，但 RAFT 始终优于现有的特定领域微调方法。
1.1K10编辑于 2024-03-25 - 来自专栏人工智能
5 分钟搞懂 LLM 微调：从原理到实战
一、什么是微调微调（Fine-tuning）是指在一个已经预训练好的大语言模型基础上，用特定领域或任务的数据继续训练，让模型更好地适应具体需求。 打个比方，预训练模型像是一个读过海量书籍的通才，而微调就是让这个通才去某个专业领域进修，变成该领域的专家。二、为什么需要微调预训练模型虽然知识面广，但在具体场景下往往不够精准。 四、微调的基本流程选择基础模型：使用预训练好的通用语言模型（如Qwen、LLaMA等）作为起点准备领域数据：收集与目标领域相关的标注数据集调整超参数（Hyperparameters）：设置合适的学习率、 训练轮次等参数（通常比预训练时更小，这些都是超参数）领域适应训练：在保持原有参数的基础上，用领域数据继续训练模型评估验证：通过领域特定的评估指标检验微调效果迭代优化：重复上述过程来获得更好的结果直到满意五 六、实际应用场景垂直领域适配：最常见的场景，比如法律、医疗、金融等专业领域的问答系统风格定制：让模型学会特定的回复风格、语气或人设指令遵循优化：让模型更好地理解和执行特定格式的指令安全对齐：通过微调减少模型输出有害内容的倾向
31710编辑于 2026-02-12 - 来自专栏AI
微调
可以进行微调的模型有哪些？GPT-4的微调目前处于实验性访问计划中 - 符合条件的用户可以在创建新的微调任务时在微调界面上申请访问权限。 train_accuracy,valid_loss,valid_mean_token_accuracy1,1.52347,0.0,,2,0.57719,0.0,,3,3.63525,0.0,,4,1.72257,0.0,,5,1.52379,0.0 我会为您安排这次会议”（当它不应该这样做时），请查看现有示例是否教会了模型说它可以做新事情，而实际上它不能做考虑数据的平衡性和多样性如果数据中有60%的助手回复说“我无法回答这个问题”，但在推断时只有5% 微调可以用于创建一个专注于特定领域的模型，并表现出特定的内在行为模式。检索策略可以通过在生成响应之前为模型提供相关背景来使新信息对模型可用。 我可以继续微调已经微调过的模型吗？是的，您可以在创建微调作业时将已微调模型的名称传递给模型参数。这将以已微调模型为起点开始一个新的微调作业。我如何估计微调模型的成本？请参考上文中的成本估算部分。
71010编辑于 2024-04-20 - 来自专栏AI工程
用mT5模型微调中文分类任务示例
用mT5模型微调中文分类任务示例 mT5模型是T5模型在多语言数据集C4上的继续训练，T5本身是比较早了，是2019年的一个模型，但是后来又有很多次不同的升级。 mT5模型论文发布自2020年10月。 最开始，这些prompt就是一些特殊的句子，比如说我们给gpt3的提示是：“1+1=2；2+2=4；4+5=9；5+6=”这样的提示，让模型继续生成，希望能输出5+6的正确答案。 具体实现 首先使用tansformers就可以很方便的去下载和调用谷歌的T5/mT5模型 安装pytorch和transformers，以及分词器（tokenizer）所需的sentencepiece , T5Tokenizer model = MT5ForConditionalGeneration.from_pretrained("google/mt5-base") tokenizer = T5Tokenizer.from_pretrained
3.3K20编辑于 2022-03-30 - 来自专栏NLP/KG
LLM资料大全：文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等
应用2.1 垂直领域微调医疗法律金融教育科技电商网络安全农业2.2 LangChain应用2.3 其他应用3. 数据集预训练数据集SFT数据集偏好数据集4. LLM训练微调框架5. 仅使用180K条数据微调得到的Robin第二代模型，在Huggingface榜单上达到了第一名的成绩。LMFlow支持用户快速训练个性化模型，仅需单张3090和5个小时即可微调70亿参数定制化模型。 ，中文金融领域知识增强型预训练语言模型BBT-FinT5及中文金融领域自然语言处理评测基准CFLEB。 轩辕在BLOOM-176B的基础上针对中文通用领域和金融领域进行了针对性的预训练与微调，它不仅可以应对通用领域的问题，也可以解答与金融相关的各类问题，为用户提供准确、全面的金融信息和建议。 LMFlow仅使用180K条数据微调，即可得到在Huggingface榜单第一名的Robin模型。LMFlow支持用户快速训练个性化模型，仅需单张3090和5个小时即可微调70亿参数定制化模型。
4.6K13编辑于 2024-04-29 - 来自专栏AI科技评论
NLP 领域还有 5 大开放问题
作者 | 杨晓凡 编辑 | 唐里 如题，虽然 NLP 研究领域已经在深度学习的帮助下取得了长足的发展，许多技术也已经商业化落地，但我们也需要知道，这个领域还有几个开放性问题等待解决 —— 如果它们也能比较好地解决 下面列举的 5 个开放性问题来自自学 NLP 的机电一体化本科生 Deepak Garasangi 在 Reddit 上的发帖讨论内容总结，并且参考了 Sebastian Ruder 曾经总结的 4 个开放性问题 按重要性从轻到重排序： 5. 评价指标 这个问题在领域内不算很大的瓶颈，但是经常有研究人员觉得有必要重新讨论这个问题，因为现行惯例里往往不问原因就沿用某些固定的架构、数据集和评价指标。 自然语言理解 没错，这就是那个最开放的问题，它和 NLP 领域中的许多具体问题也都息息相关。 想要解决这个高阶的认知问题，可能需要我们从强化学习、领域适应、小样本/零样本学习等等领域中借鉴很多思想和方法，也还需要 NLP 研究人员们做出更多创新。
47210发布于 2019-09-23 - 来自专栏NLP/KG
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法 1.SFT 监督微调 1.1 SFT 监督微调基本概念 SFT（Supervised 监督式微调在计算机视觉、自然语言处理等领域中得到了广泛应用。然而监督也存在一些缺点。首先，需要大量的标注数据用于目标任务的微调，如果标注数据不足，可能会导致微调后的模型表现不佳。 P-tuning v2 微调方法 3.1 P-tuning v2 微调方法的相关技术 传统的微调方法需要微调整个预训练语言模型，对于大语言模型的微调需要大量的资源和时间，急需更加高效的微调方法。 5.关键知识点总结 SFT监督微调时监督微调时，学习率通常会设置得很小 常见误区：1.监督微调需要大量的训练时间和数据 2.监督微调将复制源模型的所有参数至目标模型 3.监督微调只需要几十条监督数据即可 监督微调常见任务：1.用中文预训练BERT模型完成中文实体识别任务 2.训练语言模型GPT3 3.UIE模型在垂直领域的数据集上微调 常见误区：在ImageNet上的预训练的模型再来训练目标检测任务
10.1K66编辑于 2023-10-11 - 来自专栏DeepHub IMBA
解决语义搜索痛点，基于对比学习的领域特定文本嵌入模型微调实践
然而，通用嵌入模型在处理特定领域任务时往往存在性能瓶颈。微调技术为解决这一问题提供了有效途径。本文将深入探讨嵌入模型微调的核心原理，并以AI职位匹配为例，详细阐述基于对比学习的微调实现过程。 基于对比学习的嵌入微调方法 嵌入微调通过在特定任务数据上进行额外训练来调整预训练模型的表示能力。这种方法特别适用于需要匹配不同长度文本（如简短查询与详细文档）或理解领域特定术语的场景。 例如，在云计算领域，"扩展"和"实例"等术语具有专门的技术含义，通用模型可能无法准确表示这些概念。 对比学习是实现嵌入微调的核心技术。 微调后的模型在测试集上实现了100%的准确率，充分证明了针对特定领域进行模型优化的必要性和可行性。 嵌入模型微调不仅解决了通用模型在专业领域表现不佳的痛点，更为构建高质量的语义搜索系统提供了切实可行的技术路径。
38410编辑于 2025-08-20 XTuner 微调
快速开始 这里我们用 internlm2_5-20b-chat 模型，通过 QLoRA 的方式来微调一个自己的小助手认知作为案例来进行演示。 xtuner train 命令用于启动模型微调进程。该命令需要一个参数：CONFIG 用于指定微调配置文件。 对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。 增量预训练微调 定义一些基本方法。 在 PART 2 的部分，由于我们复制的配置文件是全参数微调的配置，而我们希望使用 QLoRA 算法进行微调，所以可以添加 QLoRA 算法的配置。
47810编辑于 2024-10-10- 来自专栏机器之心
RAG还是微调？微软出了一份特定领域大模型应用建设流程指南
机器之心报道 编辑：rome 检索增强生成（RAG）和微调（Fine-tuning）是提升大语言模型性能的两种常用方法，那么到底哪种方法更好？在建设特定领域的应用时哪种更高效？ 在构建大语言模型应用程序时通常有两种常见的方法来整合专有和特定领域的数据：检索增强生成和微调。检索增强生成通过外部数据增强提示，而微调将额外的知识整合到模型本身中。 本文涉及的是农业研究，目标是生成该特定领域的答案。因此研究的起点是农业数据集，它被输入到三个主要组件中：问答生成、检索增强生成和微调过程。 如下清单 5 展示了这些文件中的内容示例。 度量标准 本节的主要目的是建立一套全面的度量标准，目的是指导对问答生成过程的质量评估，尤其是对微调和检索增强生成方法的评估。 基于该评分表、实际情况答案和 LLM 答案提示 GPT-4，并要求根据 1 到 5 的分数给出评分。 正确性：本文创建了一个描述完整、部分正确或不正确的答案应包含内容的评分表。
79310编辑于 2024-02-26 - 来自专栏AI理论与前沿
对于大模型，到底微调还是不微调？
当时，最先进的领域应用通过监督微调（SFT）构建，即使用标注数据对预训练模型进行进一步训练，以适应自己的领域和下游任务。然而，随着大型模型（>1B 参数）的兴起，微调的问题变得更加复杂。 QLoRA 这样的算法使得使用有限资源对大模型进行微调变得更加可行。作为示例，表 1 显示了 Llama 2 7B 的三种微调模式（全微调、LoRA 和 QLoRA）的峰值 GPU 内存。 1.3 处理代表性不足的领域尽管 LLM 经过大量通用数据训练，但它们并不总是能够掌握每个小众领域的细微差别、术语或特定性。在法律、医疗或金融等领域，微调已被证明可以提高下游任务的准确性。 我们提供两个示例：如文章中所述，患者的病历包含高度敏感的数据，通常不在公共领域中出现。因此，基于 LLM 的病历总结系统需要进行微调。 我们提供三个示例：微调 LLM 以更好地使用或忽略来自检索器的上下文微调 LLM 评审模型来评估其他 LLM 的指标，如扎根性、合规性或有用性微调 LLM 来增加上下文窗口2 微调与其他领域适应技术的比较
93000编辑于 2024-09-17 - 来自专栏云计算D1net
DevOps将在5个领域影响云计算
人们可能并不知道未来DevOps会带来什么，但在一些创新领域DevOps将会发挥重要作用。 以下是2020年需要关注的五个创新领域。 1.无服务器架构 根据调研机构Technavio公司的研究，到2023年，无服务器计算的市场份额预计将增长91.6亿美元。 5.数据操作 DataOps是数据行业和数据科学专业人员采用的DevOps原理。尽管它仍是一个新兴领域，但它具有极大地提高数据处理和分析效率的潜力。 人们可能并不知道未来会给云中的DevOps带来什么，但以上介绍的创新领域肯定会发挥作用。
76610发布于 2020-03-25 - 来自专栏对白的算法屋
当我在微调的时候我在微调什么？
作者 | BroLin 出品 | 对白的算法屋 从 BERT 开始，预训练模型(PLMs)+微调(finetune)已经成为了NLP领域的常规范式。 微调效果到底好不好，微调之后的词向量表示是否有效，可以直接用针对下游任务的分类器的准确度来衡量。只有微调效果足够好时，分类效果才够准。 DIRECTPROBE 基于聚类的探针。 通过比较微调前后不同簇之间的距离，可以量化微调之后的词向量表示的变化。 除了BERT base版训练5个epochs之外，其余规模的BERT均训练10个epochs。分类器探针接到BERT输出层，跟着BERT一起微调。 使用原始train对BERT~small~进行微调，微调前后均只使用subtrain训练分类器。分类器的训练不参与微调。 如下图所示，微调前分类器在subtest和test上的学习曲线一致。
2.1K10编辑于 2022-04-01 - 来自专栏NLP/KG
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法 1.SFT 监督微调 1.1 SFT 监督微调基本概念 SFT（Supervised 监督式微调在计算机视觉、自然语言处理等领域中得到了广泛应用。然而监督也存在一些缺点。首先，需要大量的标注数据用于目标任务的微调，如果标注数据不足，可能会导致微调后的模型表现不佳。 P-tuning v2 微调方法 3.1 P-tuning v2 微调方法的相关技术 传统的微调方法需要微调整个预训练语言模型，对于大语言模型的微调需要大量的资源和时间，急需更加高效的微调方法。 5.关键知识点总结 SFT监督微调时监督微调时，学习率通常会设置得很小 常见误区：1.监督微调需要大量的训练时间和数据 2.监督微调将复制源模型的所有参数至目标模型 3.监督微调只需要几十条监督数据即可 监督微调常见任务：1.用中文预训练BERT模型完成中文实体识别任务 2.训练语言模型GPT3 3.UIE模型在垂直领域的数据集上微调 常见误区：在ImageNet上的预训练的模型再来训练目标检测任务
25.6K07编辑于 2023-07-16 - 来自专栏蓝天
Ubuntu系统微调
参阅 syslogd(8) 和 syslog.conf(5)。 硬件存取优化 有一部分硬件优化的配置工作 Ubuntu 留给了系统管理员。 hdparm 硬盘存取优化。效果显著。 危险。 参阅 fstab(5) 和 mount(8)。 通过 proc 文件系统，Linux 内核可直接调节某些硬件参数。参阅 通过 proc 文件系统调整内核, 第 7.3 节。 更多信息参阅 inetd(8)、inetd.conf(5)、protocols(5)、services(5)、tcpd(8)、hosts_access(5) 和 hosts_options(5)。
1.1K30发布于 2018-08-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号