- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI SPPECH
63_模型定制：领域微调技术
数据工程：微调成功的基础 ├── 8. 评估与优化：确保微调效果 └── 9. 行业应用与最佳实践 1. ，资源需求降至原来的5%以下 自动化：微调流程自动化工具成熟，如LLaMA-Factory、XTuner等开源框架 混合化：多种微调技术组合使用，如LoRA+RLHF的混合策略 领域化：针对特定领域的专业化微调方法不断涌现 尽管资源消耗巨大，但在需要深度领域适配的场景中，全参数微调仍然是效果最佳的选择。 3.1 技术原理 全参数微调的核心思想是在保持模型架构不变的情况下，使用领域特定数据对所有模型参数进行更新： 全参数微调流程： 预训练模型 → 领域数据输入 → 前向传播 → 损失计算 → 反向传播 → 行业应用与最佳实践 9.1 金融领域微调案例 某大型金融机构在2025年实施的领域微调项目： 需求：构建专业的金融分析助手，能够准确理解金融术语，分析市场趋势，生成合规报告。
38610编辑于 2025-11-16 - 来自专栏AI SPPECH
103_领域微调：医疗与法律案例
领域微调的理论基础与挑战 1.1 领域微调的基本原理 领域微调是指在预训练大模型的基础上，使用特定领域的专业语料进行二次训练或微调，以使模型更好地适应特定领域的语言习惯、专业知识和任务需求。 在进行跨领域微调时，可以采用以下领域知识融合技巧： 分阶段微调策略： 先在通用数据上预训练 然后在大规模领域数据上进行领域适应 最后在特定任务数据上进行微调 领域术语增强： 医疗领域：增强对医学术语 主要内容包括： 领域微调基础：详细介绍了领域微调的基本概念、原理和流程 医疗领域微调：实现了医疗数据集构建和医疗领域微调器 法律领域微调：实现了法律数据集构建和法律领域微调器 词汇优化技术：探讨了词汇表优化的重要性和实施方法 领域对比分析：对比了医疗与法律领域微调的异同点 未来，领域微调技术有望在以下方向继续发展： 多模态领域微调：结合文本、图像等多种模态信息进行领域微调 持续学习与知识更新：实现模型在领域知识更新时的高效适应 跨领域知识融合：开发更有效的跨领域知识迁移方法 隐私保护领域微调：在保护敏感数据的前提下进行高效微调 通过不断优化和创新领域微调技术，我们可以更好地发挥大语言模型在特定领域的潜力，为医疗、法律等专业领域提供更智能
29810编辑于 2025-11-16 LLaMA3-8B-Instruct Lora 微调
本节我们简要介绍如何基于 transformers、peft 等框架，对 LLaMA3-8B-Instruct 模型进行 Lora 微调。 Lora 是一种高效微调方法，深入了解其原理可参见博客：知乎|深入浅出 Lora。 这个教程会在同目录下给大家提供一个 nodebook 文件，来让大家更好的学习。 https://www.codewithgpu.com/i/datawhalechina/self-llm/self-llm-LLaMA3 在本节教程里，我们将微调数据集放置在根目录 /dataset ', cache_dir='/root/autodl-tmp', revision='master') 指令集构建 LLM 的微调一般指指令微调过程。 所谓指令微调，是说我们使用的微调数据形如： { "instruction": "回答以下用户问题，仅输出答案。", "input": "1+1等于几?"
65110编辑于 2025-07-21- 来自专栏AI人工智能
领域专用AI模型训练指南：医疗、法律、金融三大垂直领域微调效果对比
领域专用AI模型训练指南：医疗、法律、金融三大垂直领域微调效果对比 Hello，我是摘星！ 在彩虹般绚烂的技术栈中，我是那个永不停歇的色彩收集者。 这些差异化需求决定了我们不能简单地使用一套通用的微调策略，而需要针对每个领域的特点制定专门的训练方案。通过对比实验，我发现领域专用模型在专业任务上的表现显著优于通用模型。 = quantize_dynamic( self.model, {torch.nn.Linear}, dtype=torch.qint8 法律文书智能审查在律师事务所的应用实践中，法律AI模型显著提升了工作效率：合同审查时间从平均2小时缩短至30分钟法条匹配准确率达到89.7%风险点识别覆盖率提升42%7.3 金融风险评估系统图5：金融风险评估象限图8. 参考链接Transformers模型微调最佳实践医疗AI应用伦理指南法律科技发展报告金融AI风险管理框架领域适应学习综述关键词标签#领域专用AI #模型微调 #医疗AI #法律科技 #金融风控
85210编辑于 2025-08-21 - 来自专栏AIGC 先锋科技
全面增强LLM的多领域性能，新型微调框架，实现LLM的跨领域知识均衡 ！
尽管它们具有潜力，但现有研究主要关注微调过程中的特定领域增强，其中挑战在于其他领域的知识灾难性遗忘。 作者提出以下论断： 第一条声明：使用特定领域数据比例 微调的LLM将在与预训练输出分布 对齐的这些领域中表现出增强和均衡的性能，与使用不匹配的数据分布微调的模型相比。 这些评分随后用于在组合SFT数据集中微调每个领域的表示，以确保在整个微调过程中各个领域的能力均衡发展（Line 3-7）。同时，模型M_θ的参数根据通过反向传播计算的梯度进行更新（Line 8）。 （第8-9行）；否则，作者保持当前领域分布，并只进行如算法2中所述的轻微调整和归一化（第10-11行）。 确定特定领域计数在域扩展过程中的比例阈值。作者考虑对VersaTune的结果与实现特定域的“无条件动态增加”进行比较，其中作者移除了算法3中的第8行。
72810编辑于 2024-12-30 - 来自专栏自然语言处理(NLP)论文速递
UC伯克利 | 提出索增强微调(RAFT)，只需少量微调，就能大幅提升模型领域QA能力
为了有效地让模型掌握这些新知识，本文作者提出了一种名为「检索增强微调（RAFT）」 的方法。这是一种简单而强大的微调方法，只需简单的微调，就可大幅提升模型在“开卷”特定领域下的问答性能。 「RAFT方法关注的是更加细分的特定领域，并在此领域上进行开卷考试」。LLM可以使用所有在这个特定领域内经过微调的信息来回应用户的提问。 本篇文章主要研究的就是这样的特定领域开卷设置，以及如何让预训练的LLM适应这个特定领域，包括如何让它对检索到的文档数量的变化和干扰项更加稳健。 RAFT方法介绍 RAFT（检索增强微调）是一种新方法，用于准备数据微调，以便对模型定制化以适应特定领域的”开卷考试“，也就是领域内的RAG。 如下图所示，RAFT 提高了所有专业领域的 RAG 性能，在下面测试集上可以看到特定领域的微调显着提高了基础模型的性能，但 RAFT 始终优于现有的特定领域微调方法。
1.1K10编辑于 2024-03-25 - 来自专栏AI
微调
在高层次上，微调包括以下步骤：准备并上传训练数据训练一个新的微调模型评估结果，如果需要，返回到步骤 1使用您的微调模型访问我们的定价页面，了解有关微调模型训练和使用的更多信息。 可以进行微调的模型有哪些？GPT-4的微调目前处于实验性访问计划中 - 符合条件的用户可以在创建新的微调任务时在微调界面上申请访问权限。 创建微调模型在确保您的数据集具有正确的数量和结构，并且已经上传文件之后，下一步是创建微调作业。我们支持通过微调UI或以编程方式创建微调作业。 微调可以用于创建一个专注于特定领域的模型，并表现出特定的内在行为模式。检索策略可以通过在生成响应之前为模型提供相关背景来使新信息对模型可用。 我可以继续微调已经微调过的模型吗？是的，您可以在创建微调作业时将已微调模型的名称传递给模型参数。这将以已微调模型为起点开始一个新的微调作业。我如何估计微调模型的成本？请参考上文中的成本估算部分。
71010编辑于 2024-04-20 - 来自专栏数据库相关
binlog2sql在MySQL8下的微调
binlog2sql 默认的requirements中的依赖包版本比较低，不适合mysql8， 需要用如下的几个包： $ cat .. '' for block in reversed_blocks(fin): if PY3PLUS: block = block.decode("utf-8" ,"ignore") # 修改后的写法 #block = block.decode("utf-8") # 原先是这个写法 for c in reversed
53020编辑于 2022-01-11 - 来自专栏NLP/KG
LLM资料大全：文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等
LLM教程LLM基础知识提示工程教程LLM应用教程LLM实战教程8. 数据集包括文本和代码等多种数据类型，覆盖通用领域和专业领域，能支持8K的上下文长度，针对插件调用相关的对齐数据做了特定优化，当前模型能有效调用插件以及升级为Agent。 Chinese-Mixtral-8x7B地址：https://github.com/HIT-SCIR/Chinese-Mixtral-8x7B图片简介：该项目基于Mixtral-8x7B稀疏混合专家模型进行了中文扩词表增量预训练 轩辕在BLOOM-176B的基础上针对中文通用领域和金融领域进行了针对性的预训练与微调，它不仅可以应对通用领域的问题，也可以解答与金融相关的各类问题，为用户提供准确、全面的金融信息和建议。 课程包括大模型微调、部署与评测全链路，目的是为广大开发者搭建大模型学习和实践开发的平台。8.
4.6K13编辑于 2024-04-29 - 来自专栏计算机视觉战队
650亿参数，8块RTX 3090 GPU就能全参数微调
大型语言模型（LLM）彻底改变了自然语言处理（NLP）领域，展示了涌现、顿悟等非凡能力。然而，若想构建出具备一定通用能力的模型，就需要数十亿参数，这大幅提高了 NLP 研究的门槛。 在 LLM 模型调优过程中通常又需要昂贵的 GPU 资源，例如 8×80GB 的 GPU 设备，这使得小型实验室和公司很难参与这一领域的研究。 然而，这些方法并没有为全参数微调提供实用的解决方案，而全参数微调已被公认为是比参数高效微调更强大的方法。 因此，新方法能够在一台具有 8×RTX 3090 的机器上对 65B 模型进行全参数微调，每个 RTX 3090 具有 24GB 内存。 至于 13B 模型，由于内存的限制，它无法在现有的 8 个 RTX 3090 GPU 上用 AdamW 训练。
99120编辑于 2023-08-24 - 来自专栏钱塘大数据
【图说】我国重点行业领域大数据应用研究（8大领域）
全文较长，建议阅读时间4分钟。 往期回顾：【图说】2016年中国云计算产业趋势分析报告
1.1K60发布于 2018-03-01 - 来自专栏NLP/KG
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法 1.SFT 监督微调 1.1 SFT 监督微调基本概念 SFT（Supervised 监督式微调在计算机视觉、自然语言处理等领域中得到了广泛应用。然而监督也存在一些缺点。首先，需要大量的标注数据用于目标任务的微调，如果标注数据不足，可能会导致微调后的模型表现不佳。 P-tuning v2 微调方法 3.1 P-tuning v2 微调方法的相关技术 传统的微调方法需要微调整个预训练语言模型，对于大语言模型的微调需要大量的资源和时间，急需更加高效的微调方法。 对于 Transformer 的每一层结构，自注意力层的参数量为4⋅d2，即WQ、WQ、WQ和WQ ∈Rd×d；FF 层的参数量为8⋅d2，即W1∈Rd×4d,W2∈Rd×4d。 监督微调常见任务：1.用中文预训练BERT模型完成中文实体识别任务 2.训练语言模型GPT3 3.UIE模型在垂直领域的数据集上微调 常见误区：在ImageNet上的预训练的模型再来训练目标检测任务
10.1K66编辑于 2023-10-11 - 来自专栏DeepHub IMBA
解决语义搜索痛点，基于对比学习的领域特定文本嵌入模型微调实践
然而，通用嵌入模型在处理特定领域任务时往往存在性能瓶颈。微调技术为解决这一问题提供了有效途径。本文将深入探讨嵌入模型微调的核心原理，并以AI职位匹配为例，详细阐述基于对比学习的微调实现过程。 基于对比学习的嵌入微调方法 嵌入微调通过在特定任务数据上进行额外训练来调整预训练模型的表示能力。这种方法特别适用于需要匹配不同长度文本（如简短查询与详细文档）或理解领域特定术语的场景。 例如，在云计算领域，"扩展"和"实例"等术语具有专门的技术含义，通用模型可能无法准确表示这些概念。 对比学习是实现嵌入微调的核心技术。 微调后的模型在测试集上实现了100%的准确率，充分证明了针对特定领域进行模型优化的必要性和可行性。 嵌入模型微调不仅解决了通用模型在专业领域表现不佳的痛点，更为构建高质量的语义搜索系统提供了切实可行的技术路径。
38410编辑于 2025-08-20 XTuner 微调
指令跟随微调 PATTERN: internlm2 ------------------------------- internlm2_1_8b_full_alpaca_e3 internlm2_1_8b_full_custom_pretrain_e1 xtuner train 命令用于启动模型微调进程。该命令需要一个参数：CONFIG 用于指定微调配置文件。 对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。 增量预训练微调 定义一些基本方法。 在 PART 2 的部分，由于我们复制的配置文件是全参数微调的配置，而我们希望使用 QLoRA 算法进行微调，所以可以添加 QLoRA 算法的配置。
47810编辑于 2024-10-10- 来自专栏机器之心
RAG还是微调？微软出了一份特定领域大模型应用建设流程指南
机器之心报道 编辑：rome 检索增强生成（RAG）和微调（Fine-tuning）是提升大语言模型性能的两种常用方法，那么到底哪种方法更好？在建设特定领域的应用时哪种更高效？ 在构建大语言模型应用程序时通常有两种常见的方法来整合专有和特定领域的数据：检索增强生成和微调。检索增强生成通过外部数据增强提示，而微调将额外的知识整合到模型本身中。 本文涉及的是农业研究，目标是生成该特定领域的答案。因此研究的起点是农业数据集，它被输入到三个主要组件中：问答生成、检索增强生成和微调过程。 方法 本文第 2 部分详细介绍采用了方法论，包括数据获取过程、信息提取过程、问题和答案生成，以及模型的微调。该方法论围绕着一个旨在生成和评估用于构建领域特定助手的问答对流程展开，如下图 1 所示。 最后，流程通过 Q&A 对微调模型。优化过程采用了低秩调整（LoRA）等方法，确保全面理解科学文献的内容和背景，使其成为各个领域或行业的有价值资源。
79310编辑于 2024-02-26 - 来自专栏AI理论与前沿
对于大模型，到底微调还是不微调？
当时，最先进的领域应用通过监督微调（SFT）构建，即使用标注数据对预训练模型进行进一步训练，以适应自己的领域和下游任务。然而，随着大型模型（>1B 参数）的兴起，微调的问题变得更加复杂。 QLoRA 这样的算法使得使用有限资源对大模型进行微调变得更加可行。作为示例，表 1 显示了 Llama 2 7B 的三种微调模式（全微调、LoRA 和 QLoRA）的峰值 GPU 内存。 1.3 处理代表性不足的领域尽管 LLM 经过大量通用数据训练，但它们并不总是能够掌握每个小众领域的细微差别、术语或特定性。在法律、医疗或金融等领域，微调已被证明可以提高下游任务的准确性。 我们提供两个示例：如文章中所述，患者的病历包含高度敏感的数据，通常不在公共领域中出现。因此，基于 LLM 的病历总结系统需要进行微调。 我们提供三个示例：微调 LLM 以更好地使用或忽略来自检索器的上下文微调 LLM 评审模型来评估其他 LLM 的指标，如扎根性、合规性或有用性微调 LLM 来增加上下文窗口2 微调与其他领域适应技术的比较
93000编辑于 2024-09-17 - 来自专栏对白的算法屋
当我在微调的时候我在微调什么？
作者 | BroLin 出品 | 对白的算法屋 从 BERT 开始，预训练模型(PLMs)+微调(finetune)已经成为了NLP领域的常规范式。 通过比较微调前后不同簇之间的距离，可以量化微调之后的词向量表示的变化。 分类器探针接到BERT输出层，跟着BERT一起微调。为了降低微调过程中不稳定性的影响，同一个任务作者使用不同的初始化参数进行了五次微调。 微调后性能反而降低？ 上图中红色框出，发现微调后BERT~small~在PS-fxn任务上反而准确率降低了。为了进一步研究这一问题，如下图作者将原训练集按8:2划分为subtrain和subtest。 使用原始train对BERT~small~进行微调，微调前后均只使用subtrain训练分类器。分类器的训练不参与微调。 如下图所示，微调前分类器在subtest和test上的学习曲线一致。
2.1K10编辑于 2022-04-01 - 来自专栏云同步
ms-swift 微调 internlm3-8b-instruct（论文分类任务）
微调框架：ms-swift 训练方式：（预训练 + SFT）Lora 目标 对 InternLM 系列模型 进行微调，使其能够完成论文分类任务，然后进行打榜 Docs 安装 ms-swift 1）创建 /bin/bash ############ 可自定义 # 指定基础模型，可以是模型路径 model="Shanghai_AI_Laboratory/internlm3-8b-instruct" # " # 模型作者 model_author="fei" # 训练后的模型名称 model_name="InternLM3-8B-Lora" # 创建日志目录 LOG_DIR="logs" mkdir eval_oc_data_val.csv 注意：我下面不是用的这个评测集进行评测的，我把他移动到 /root/datasets/eval，并改名为 newformat_sft_test_data_val.csv 微调前 {"general_mcq": {"local_path": "/root/datasets/eval", "subset_list": ["newformat_sft_test_data"]}}' 微调后
70310编辑于 2025-08-01 - 来自专栏NLP/KG
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法 1.SFT 监督微调 1.1 SFT 监督微调基本概念 SFT（Supervised 监督式微调在计算机视觉、自然语言处理等领域中得到了广泛应用。然而监督也存在一些缺点。首先，需要大量的标注数据用于目标任务的微调，如果标注数据不足，可能会导致微调后的模型表现不佳。 P-tuning v2 微调方法 3.1 P-tuning v2 微调方法的相关技术 传统的微调方法需要微调整个预训练语言模型，对于大语言模型的微调需要大量的资源和时间，急需更加高效的微调方法。 对于 Transformer 的每一层结构，自注意力层的参数量为4⋅d2，即WQ、WQ、WQ和WQ ∈Rd×d；FF 层的参数量为8⋅d2，即W1∈Rd×4d,W2∈Rd×4d。 监督微调常见任务：1.用中文预训练BERT模型完成中文实体识别任务 2.训练语言模型GPT3 3.UIE模型在垂直领域的数据集上微调 常见误区：在ImageNet上的预训练的模型再来训练目标检测任务
25.6K07编辑于 2023-07-16 - 来自专栏蓝天
Ubuntu系统微调
参阅 syslogd(8) 和 syslog.conf(5)。 硬件存取优化 有一部分硬件优化的配置工作 Ubuntu 留给了系统管理员。 hdparm 硬盘存取优化。效果显著。 危险。 务必先阅读 hdparm(8)。 hdparm -tT /dev/hda 测试硬盘存取速度。 hdparm -q -c3 -d1 -u1 -m16 /dev/hda 加速新型 IDE 系统。 参阅 fstab(5) 和 mount(8)。 通过 proc 文件系统，Linux 内核可直接调节某些硬件参数。参阅 通过 proc 文件系统调整内核, 第 7.3 节。 更多信息参阅 inetd(8)、inetd.conf(5)、protocols(5)、services(5)、tcpd(8)、hosts_access(5) 和 hosts_options(5)。 有关 Sun-RPC 的更多信息参阅 rpcinfo(8)、portmap(8) 和 /usr/share/doc/portmap/portmapper.txt.gz。
1.1K30发布于 2018-08-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号