- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI SPPECH
63_模型定制：领域微调技术
高 Prefix Tuning 中(20-30%) 较快 ★★★☆☆ 序列生成任务，资源有限 中 LoRA 低(5-10%) 快 ★★★★☆ 资源受限场景，需要高效微调 极高 QLoRA 极低(2-5% ，资源需求降至原来的5%以下 自动化：微调流程自动化工具成熟，如LLaMA-Factory、XTuner等开源框架 混合化：多种微调技术组合使用，如LoRA+RLHF的混合策略 领域化：针对特定领域的专业化微调方法不断涌现 尽管资源消耗巨大，但在需要深度领域适配的场景中，全参数微调仍然是效果最佳的选择。 3.1 技术原理 全参数微调的核心思想是在保持模型架构不变的情况下，使用领域特定数据对所有模型参数进行更新： 全参数微调流程： 预训练模型 → 领域数据输入 → 前向传播 → 损失计算 → 反向传播 → 行业应用与最佳实践 9.1 金融领域微调案例 某大型金融机构在2025年实施的领域微调项目： 需求：构建专业的金融分析助手，能够准确理解金融术语，分析市场趋势，生成合规报告。
38610编辑于 2025-11-16 - 来自专栏AI SPPECH
103_领域微调：医疗与法律案例
领域微调的理论基础与挑战 1.1 领域微调的基本原理 领域微调是指在预训练大模型的基础上，使用特定领域的专业语料进行二次训练或微调，以使模型更好地适应特定领域的语言习惯、专业知识和任务需求。 在进行跨领域微调时，可以采用以下领域知识融合技巧： 分阶段微调策略： 先在通用数据上预训练 然后在大规模领域数据上进行领域适应 最后在特定任务数据上进行微调 领域术语增强： 医疗领域：增强对医学术语 主要内容包括： 领域微调基础：详细介绍了领域微调的基本概念、原理和流程 医疗领域微调：实现了医疗数据集构建和医疗领域微调器 法律领域微调：实现了法律数据集构建和法律领域微调器 词汇优化技术：探讨了词汇表优化的重要性和实施方法 领域对比分析：对比了医疗与法律领域微调的异同点 未来，领域微调技术有望在以下方向继续发展： 多模态领域微调：结合文本、图像等多种模态信息进行领域微调 持续学习与知识更新：实现模型在领域知识更新时的高效适应 跨领域知识融合：开发更有效的跨领域知识迁移方法 隐私保护领域微调：在保护敏感数据的前提下进行高效微调 通过不断优化和创新领域微调技术，我们可以更好地发挥大语言模型在特定领域的潜力，为医疗、法律等专业领域提供更智能
29810编辑于 2025-11-16 - 来自专栏AI人工智能
领域专用AI模型训练指南：医疗、法律、金融三大垂直领域微调效果对比
领域专用AI模型训练指南：医疗、法律、金融三大垂直领域微调效果对比 Hello，我是摘星！ 在彩虹般绚烂的技术栈中，我是那个永不停歇的色彩收集者。 这些差异化需求决定了我们不能简单地使用一套通用的微调策略，而需要针对每个领域的特点制定专门的训练方案。通过对比实验，我发现领域专用模型在专业任务上的表现显著优于通用模型。 return medical_features# 训练配置def train_medical_model(model, train_loader, val_loader, epochs=10 训练随机森林模型 rf_model = RandomForestClassifier( n_estimators=100, max_depth=10 参考链接Transformers模型微调最佳实践医疗AI应用伦理指南法律科技发展报告金融AI风险管理框架领域适应学习综述关键词标签#领域专用AI #模型微调 #医疗AI #法律科技 #金融风控
85210编辑于 2025-08-21 - 来自专栏AIGC 先锋科技
全面增强LLM的多领域性能，新型微调框架，实现LLM的跨领域知识均衡 ！
尽管它们具有潜力，但现有研究主要关注微调过程中的特定领域增强，其中挑战在于其他领域的知识灾难性遗忘。 此外，在关注特定领域微调时，VersaTune在保持目标领域训练有效性的同时，将其他非目标领域的性能降级减少了38.77%。 作者提出以下论断： 第一条声明：使用特定领域数据比例 微调的LLM将在与预训练输出分布 对齐的这些领域中表现出增强和均衡的性能，与使用不匹配的数据分布微调的模型相比。 这些评分随后用于在组合SFT数据集中微调每个领域的表示，以确保在整个微调过程中各个领域的能力均衡发展（Line 3-7）。同时，模型M_θ的参数根据通过反向传播计算的梯度进行更新（Line 8）。 （第8-9行）；否则，作者保持当前领域分布，并只进行如算法2中所述的轻微调整和归一化（第10-11行）。
72810编辑于 2024-12-30 - 来自专栏自然语言处理(NLP)论文速递
UC伯克利 | 提出索增强微调(RAFT)，只需少量微调，就能大幅提升模型领域QA能力
为了有效地让模型掌握这些新知识，本文作者提出了一种名为「检索增强微调（RAFT）」 的方法。这是一种简单而强大的微调方法，只需简单的微调，就可大幅提升模型在“开卷”特定领域下的问答性能。 「RAFT方法关注的是更加细分的特定领域，并在此领域上进行开卷考试」。LLM可以使用所有在这个特定领域内经过微调的信息来回应用户的提问。 本篇文章主要研究的就是这样的特定领域开卷设置，以及如何让预训练的LLM适应这个特定领域，包括如何让它对检索到的文档数量的变化和干扰项更加稳健。 RAFT方法介绍 RAFT（检索增强微调）是一种新方法，用于准备数据微调，以便对模型定制化以适应特定领域的”开卷考试“，也就是领域内的RAG。 如下图所示，RAFT 提高了所有专业领域的 RAG 性能，在下面测试集上可以看到特定领域的微调显着提高了基础模型的性能，但 RAFT 始终优于现有的特定领域微调方法。
1.1K10编辑于 2024-03-25 - 来自专栏AI
微调
示例数量建议为了微调一个模型，您需要提供至少10个示例。我们通常在使用gpt-3.5-turbo微调时看到从50到100个训练示例中的明显改进，但正确的数量根据具体的用例变化很大。 Give or take a few, like that really matters."}]}如果您想要跟着一起创建自己的微调模型，您至少需要10个示例。 ，您至少需要10个示例。 ，您至少需要10个示例。 微调可以用于创建一个专注于特定领域的模型，并表现出特定的内在行为模式。检索策略可以通过在生成响应之前为模型提供相关背景来使新信息对模型可用。
71010编辑于 2024-04-20 - 来自专栏DeepHub IMBA
YOLOv10的改进、部署和微调训练总结
前几天YOLOv10也刚刚发布了。我们这篇文章就来看看YOLOv10有哪些改进，如何部署，以及微调。 通过以上一些列的优化YOLOv10具有最先进的性能和效率。例如，YOLOv10-S比RT-DETR-R18快1.8倍，精度相似但参数和FLOPs更少。 if cv2.waitKey(1) & 0xFF == ord('q'): break cap.release() cv2.destroyAllWindows() 微调训练 在使用模型时最主要的还是要在我们自己的数据集上进行微调，所以我们最后再介绍一下如何使用自己的数据进行微调。 并且继承了Ultralytics的传统，无论是部署还是自定义训练和微调都十分的友好，有兴趣的可以现在开始研究了。
2.7K21编辑于 2024-06-03 - 来自专栏机器人网
机器学习领域10本好书由浅入深
机器学习是个跨领域的学科，而且在实际应用中有巨大作用，但是没有一本书能让你成为机器学习的专家。 在这篇文章中，我挑选了 10 本书，这些书有不同的风格，主题也不尽相同，出版时间也不一样。 因此，无论你是新手还是领域专家，一定能找到适合你的。 新手的最佳读物 ? 这本书绝对是初学者非常期待的入门书。这本书条理清晰，学习成本低，因此我把它列为新手的最佳读物。 作者 Ethem Alpaydin 是领域里知名的学者。他还出版了机器学习导论。 Ethem 有丰富的经验，并且他之前的作品也是拔尖的。 机器学习是一个很宽的领域，而 Peter 通过例子的方式，分解了其中主要的部分。 如果你对大数据和机器学习感兴趣，那么我极力推荐这本书，但是这有一个前提，那就是你有一定的背景知识。 这 10 本书是我精心挑选的，它们涵盖了很宽泛的领域。如果你想更好的理解机器学习或者解决项目中的问题，你需要根据你的实际情况选择最适合你的书，因为它们值得拥有。
68450发布于 2018-07-23 - 来自专栏NLP/KG
LLM资料大全：文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等
LLM资料大全：文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等自ChatGPT为代表的大语言模型（Large Language Model, LLM）出现以后，由于其惊人的类通用人工智能 应用2.1 垂直领域微调医疗法律金融教育科技电商网络安全农业2.2 LangChain应用2.3 其他应用3. 数据集预训练数据集SFT数据集偏好数据集4. LLM训练微调框架5. CogVLM-17B 在 10 个经典跨模态基准测试上取得了 SOTA 性能。CogVLM 能够准确地描述图像，几乎不会出现幻觉。 Law-GLM-10B: 基于 GLM-10B 模型, 在 30GB 中文法律数据上进行指令微调得到的。 轩辕在BLOOM-176B的基础上针对中文通用领域和金融领域进行了针对性的预训练与微调，它不仅可以应对通用领域的问题，也可以解答与金融相关的各类问题，为用户提供准确、全面的金融信息和建议。
4.6K13编辑于 2024-04-29 - 来自专栏强化学习专栏
人工智能领域的10大算法
本篇文章是博主在人工智能等领域学习时，用于个人学习、研究或者欣赏使用，并基于博主对人工智能等领域的一些理解而记录的学习摘录和笔记，若有不当和侵权之处，指出后将会立即改正，还望谅解。 文章分类在学习摘录和笔记专栏： 学习摘录和笔记（12）---《人工智能领域的10大算法》 人工智能领域的10大算法 1 线性回归 线性回归（Linear Regression） 10 人工神经网络 人工神经网络（Artificial Neural Networks，ANN）可以处理大型复杂的机器学习任务。 参考：AI智胜未来《人工智能领域的10大算法》 文章若有不当和不正确之处，还望理解与指出。由于部分文字、图片等来源于互联网，无法核实真实出处，如涉及相关争议，请联系博主删除。
51110编辑于 2024-12-03 - 来自专栏美小妮
人工智能领域的10大算法
人工智能领域中就流传着10大算法，它们的原理浅显，很早就被发现、应用，甚至你在中学时就学过，在生活中也都极为常见。 添加描述生活中，K- 均值在欺诈检测中扮演了重要角色，在汽车、医疗保险和保险欺诈检测领域中广泛应用。8.随机森林随机森林（Random Forest）是一种非常流行的集成机器学习算法。 10.人工神经网络（ANN）人工神经网络（Artificial Neural Networks，ANN）可以处理大型复杂的机器学习任务。
3.3K20编辑于 2023-10-06 - 来自专栏NLP/KG
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法 1.SFT 监督微调 1.1 SFT 监督微调基本概念 SFT（Supervised 监督式微调在计算机视觉、自然语言处理等领域中得到了广泛应用。然而监督也存在一些缺点。首先，需要大量的标注数据用于目标任务的微调，如果标注数据不足，可能会导致微调后的模型表现不佳。 P-tuning v2 微调方法 3.1 P-tuning v2 微调方法的相关技术 传统的微调方法需要微调整个预训练语言模型，对于大语言模型的微调需要大量的资源和时间，急需更加高效的微调方法。 5.关键知识点总结 SFT监督微调时监督微调时，学习率通常会设置得很小 常见误区：1.监督微调需要大量的训练时间和数据 2.监督微调将复制源模型的所有参数至目标模型 3.监督微调只需要几十条监督数据即可 监督微调常见任务：1.用中文预训练BERT模型完成中文实体识别任务 2.训练语言模型GPT3 3.UIE模型在垂直领域的数据集上微调 常见误区：在ImageNet上的预训练的模型再来训练目标检测任务
10.1K66编辑于 2023-10-11 - 来自专栏DeepHub IMBA
解决语义搜索痛点，基于对比学习的领域特定文本嵌入模型微调实践
然而，通用嵌入模型在处理特定领域任务时往往存在性能瓶颈。微调技术为解决这一问题提供了有效途径。本文将深入探讨嵌入模型微调的核心原理，并以AI职位匹配为例，详细阐述基于对比学习的微调实现过程。 基于对比学习的嵌入微调方法 嵌入微调通过在特定任务数据上进行额外训练来调整预训练模型的表示能力。这种方法特别适用于需要匹配不同长度文本（如简短查询与详细文档）或理解领域特定术语的场景。 例如，在云计算领域，"扩展"和"实例"等术语具有专门的技术含义，通用模型可能无法准确表示这些概念。 对比学习是实现嵌入微调的核心技术。 微调后的模型在测试集上实现了100%的准确率，充分证明了针对特定领域进行模型优化的必要性和可行性。 嵌入模型微调不仅解决了通用模型在专业领域表现不佳的痛点，更为构建高质量的语义搜索系统提供了切实可行的技术路径。
38410编辑于 2025-08-20 XTuner 微调
xtuner version 10/06 12:01:58 - mmengine - INFO - 0.1.23 通过 xtuner help 熟悉 XTuner 的用法 模型准备 InternLM 推出的 xtuner train 命令用于启动模型微调进程。该命令需要一个参数：CONFIG 用于指定微调配置文件。 对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。 timer=dict(type=IterTimerHook), # print log every 10 iterations. logger=dict(type=LoggerHook, log_metric_by_epoch=False, interval=10), # enable the parameter scheduler
47810编辑于 2024-10-10- 来自专栏机器之心
RAG还是微调？微软出了一份特定领域大模型应用建设流程指南
机器之心报道 编辑：rome 检索增强生成（RAG）和微调（Fine-tuning）是提升大语言模型性能的两种常用方法，那么到底哪种方法更好？在建设特定领域的应用时哪种更高效？ 在构建大语言模型应用程序时通常有两种常见的方法来整合专有和特定领域的数据：检索增强生成和微调。检索增强生成通过外部数据增强提示，而微调将额外的知识整合到模型本身中。 本文涉及的是农业研究，目标是生成该特定领域的答案。因此研究的起点是农业数据集，它被输入到三个主要组件中：问答生成、检索增强生成和微调过程。 方法 本文第 2 部分详细介绍采用了方法论，包括数据获取过程、信息提取过程、问题和答案生成，以及模型的微调。该方法论围绕着一个旨在生成和评估用于构建领域特定助手的问答对流程展开，如下图 1 所示。 最后，流程通过 Q&A 对微调模型。优化过程采用了低秩调整（LoRA）等方法，确保全面理解科学文献的内容和背景，使其成为各个领域或行业的有价值资源。
79310编辑于 2024-02-26 - 来自专栏AI理论与前沿
对于大模型，到底微调还是不微调？
当时，最先进的领域应用通过监督微调（SFT）构建，即使用标注数据对预训练模型进行进一步训练，以适应自己的领域和下游任务。然而，随着大型模型（>1B 参数）的兴起，微调的问题变得更加复杂。 QLoRA 这样的算法使得使用有限资源对大模型进行微调变得更加可行。作为示例，表 1 显示了 Llama 2 7B 的三种微调模式（全微调、LoRA 和 QLoRA）的峰值 GPU 内存。 1.3 处理代表性不足的领域尽管 LLM 经过大量通用数据训练，但它们并不总是能够掌握每个小众领域的细微差别、术语或特定性。在法律、医疗或金融等领域，微调已被证明可以提高下游任务的准确性。 我们提供两个示例：如文章中所述，患者的病历包含高度敏感的数据，通常不在公共领域中出现。因此，基于 LLM 的病历总结系统需要进行微调。 我们提供三个示例：微调 LLM 以更好地使用或忽略来自检索器的上下文微调 LLM 评审模型来评估其他 LLM 的指标，如扎根性、合规性或有用性微调 LLM 来增加上下文窗口2 微调与其他领域适应技术的比较
93000编辑于 2024-09-17 - 来自专栏对白的算法屋
当我在微调的时候我在微调什么？
作者 | BroLin 出品 | 对白的算法屋 从 BERT 开始，预训练模型(PLMs)+微调(finetune)已经成为了NLP领域的常规范式。 共训练10次，Min是10次中最差的准确率，Max是最好的，difference是Max-Min的差值。可以发现仅仅是参数初始化不同，分类器的性能足足有3-4个百分点的变化。 通过比较微调前后不同簇之间的距离，可以量化微调之后的词向量表示的变化。 除了BERT base版训练5个epochs之外，其余规模的BERT均训练10个epochs。分类器探针接到BERT输出层，跟着BERT一起微调。 使用原始train对BERT~small~进行微调，微调前后均只使用subtrain训练分类器。分类器的训练不参与微调。 如下图所示，微调前分类器在subtest和test上的学习曲线一致。
2.1K10编辑于 2022-04-01 - 来自专栏大数据文摘
【译】2014 eHealth 领域10大变革
透明化工具在很多领域已经兴起-消费者通过Kayak搜查旅行价格，在Progressive上比较汽车保险价格以及在Yelp上了解餐厅的评分和口碑。 这些压力激发了对于电子健康保健创业公司以及新的产业创新领域的投资。新领域体现在新科技和商业模型的融合。 （10）医疗保健提供者将视频技术及可视化临床医疗服务结合起来。 有此类的应用软件吗？ 概述：虽然还有很多的处女地有待开垦，医疗保健和高科技公司的联合起来解锁临床数据的价值和影响将是深远的。 在她的博士学习中，Cathy对于决策模型的建立，运筹管理以及数据挖掘与分析等多项领域产生了浓厚的兴趣。 两年多的实战工作经历，极大增强了Cathy对于多项领域的商业敏锐度以及运用大数据分析提供商业决策的技能。 2015年伊始，作为文摘的忠实粉丝，Cathy正式加入了大数据文摘的大家庭。
57030发布于 2018-05-23 - 来自专栏Java学习网
10个使用Java最广泛的现实领域
10个使用Java最广泛的现实领域 如果你是一个初学者，刚刚开始学习Java，你可能会想Java有什么用呢？ 现在的话，Java FX越来越受欢迎，但是依然不能代替Swing，而C＃已经几乎完全取代了Swing曾经在金融领域的地位。 9）高频交易领域 Java平台改进了很多，不但有与时俱进的JIT编译器，还提供C ++水平的性能。正是由于这个原因，Java在编写高性能系统上也非常受欢迎。 10）科学应用程序 如今的Java依然成为默认的科学应用程序，包括自然语言处理进程。主要原因是为Java更安全、更轻便、更易于维护，相较于C++和其他任何语言，Java配备了更好的高水平并发性工具。 而Java则默认成为软件产业钟爱的应用程序开发语言，并且在金融服务行业、投资银行和电子商务网站等多个领域被广泛使用。我可以担保，只要你能学好Java，那工作的“钱”景一定美好。
1.4K80发布于 2018-02-27 - 来自专栏NLP/KG
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法 1.SFT 监督微调 1.1 SFT 监督微调基本概念 SFT（Supervised 监督式微调在计算机视觉、自然语言处理等领域中得到了广泛应用。然而监督也存在一些缺点。首先，需要大量的标注数据用于目标任务的微调，如果标注数据不足，可能会导致微调后的模型表现不佳。 P-tuning v2 微调方法 3.1 P-tuning v2 微调方法的相关技术 传统的微调方法需要微调整个预训练语言模型，对于大语言模型的微调需要大量的资源和时间，急需更加高效的微调方法。 5.关键知识点总结 SFT监督微调时监督微调时，学习率通常会设置得很小 常见误区：1.监督微调需要大量的训练时间和数据 2.监督微调将复制源模型的所有参数至目标模型 3.监督微调只需要几十条监督数据即可 监督微调常见任务：1.用中文预训练BERT模型完成中文实体识别任务 2.训练语言模型GPT3 3.UIE模型在垂直领域的数据集上微调 常见误区：在ImageNet上的预训练的模型再来训练目标检测任务
25.6K07编辑于 2023-07-16
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号