- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI SPPECH
63_模型定制：领域微调技术
数据工程：微调成功的基础 ├── 8. 评估与优化：确保微调效果 └── 9. 行业应用与最佳实践 1. ，资源需求降至原来的5%以下 自动化：微调流程自动化工具成熟，如LLaMA-Factory、XTuner等开源框架 混合化：多种微调技术组合使用，如LoRA+RLHF的混合策略 领域化：针对特定领域的专业化微调方法不断涌现 3.1 技术原理 全参数微调的核心思想是在保持模型架构不变的情况下，使用领域特定数据对所有模型参数进行更新： 全参数微调流程： 预训练模型 → 领域数据输入 → 前向传播 → 损失计算 → 反向传播 → ：基于反馈持续更新模型 A/B测试：比较不同微调策略的效果 集成优化：结合多种微调模型的优势 在线学习：在实际应用中不断优化模型 9. 行业应用与最佳实践 9.1 金融领域微调案例 某大型金融机构在2025年实施的领域微调项目： 需求：构建专业的金融分析助手，能够准确理解金融术语，分析市场趋势，生成合规报告。
38610编辑于 2025-11-16 - 来自专栏AI SPPECH
103_领域微调：医疗与法律案例
领域微调的理论基础与挑战 1.1 领域微调的基本原理 领域微调是指在预训练大模型的基础上，使用特定领域的专业语料进行二次训练或微调，以使模型更好地适应特定领域的语言习惯、专业知识和任务需求。 -9，。 在进行跨领域微调时，可以采用以下领域知识融合技巧： 分阶段微调策略： 先在通用数据上预训练 然后在大规模领域数据上进行领域适应 最后在特定任务数据上进行微调 领域术语增强： 医疗领域：增强对医学术语 主要内容包括： 领域微调基础：详细介绍了领域微调的基本概念、原理和流程 医疗领域微调：实现了医疗数据集构建和医疗领域微调器 法律领域微调：实现了法律数据集构建和法律领域微调器 词汇优化技术：探讨了词汇表优化的重要性和实施方法 领域对比分析：对比了医疗与法律领域微调的异同点 未来，领域微调技术有望在以下方向继续发展： 多模态领域微调：结合文本、图像等多种模态信息进行领域微调 持续学习与知识更新：实现模型在领域知识更新时的高效适应
29810编辑于 2025-11-16 GLM4-9B-chat Lora 微调
本节我们简要介绍如何基于 transformers、peft 等框架，对 LLaMA3-8B-Instruct 模型进行 Lora 微调。 ', cache_dir='/root/autodl-tmp/glm-4-9b-chat', revision='master') 指令集构建 LLM 的微调一般指指令微调过程。 所谓指令微调，是说我们使用的微调数据形如： { "instruction": "回答以下用户问题，仅输出答案。", "input": "1+1等于几?" tokenizer = AutoTokenizer.from_pretrained('/root/autodl-tmp/glm-4-9b-chat/ZhipuAI/glm-4-9b-chat', use_fast /ZhipuAI/glm-4-9b-chat' lora_path = '.
39410编辑于 2025-07-21- 来自专栏nginx遇上redis
9大项目管理领域
项目范围管理(Project Scope Management) 其作用是保证项目计划包括且仅包括为成功地完成项目所需要进行的所有工作。范围分为产品范围和项目范围。产品范围指将要包含在产品或服务中的特性和功能，产品范围的完成与否用需求来度量。项目范围指为了完成规定的特性或功能而必须进行的工作，而项目范围的完成与否是用计划来度量的。二者必须很好地结合，才能确保项目的工作符合事先确定的规格。因此选项B是正确的。 项目时间管理(Project Time Management) 其作用是保证在规定时间内完成项目。因此选项C是错误的。 项目成本管理(Project Cost Management) 其作用是保证在规定预算内完成项目。因此选项D是错误的。 项目质量管理(Project Quality Management) 其作用是保证满足承诺的项目质量要求。 项目人力资源管理(Project Human Resource Management) 其作用是保证最有效地使用项目人力资源完成项目活动。 项目沟通管理(Project Communications Management) 项目沟通管理, 是在人、思想和信息之间建立联系, 这些联系对于取得成功是必不可少的。参与项目的每一个人都必须准备用项目“语言”进行沟通, 并且要明白, 他们个人所参与的沟通将会如何影响到项目的整体。 项目沟通管理是保证项目信息及时、准确地提取、收集、传播、存贮以及最终进行处置。 其作用是保证及时准确地产生、收集、传播、贮存以及最终处理项目信息。 项目风险管理(Project Risk Management) 项目风险管理, 需要的过程有识别、分析不确定的因素, 并对这些因素采取应对措施。？项目风险管理要把有利事件的积极结果尽量扩大, 而把不利事件的后果降低到最低程度。其作用识别、分析以及对项目风险作出响应。 项目采购管理(Project Procurement Management) 其作用是从机构外获得项目所需的产品和服务。项目的采购管理是根据买卖双方中的买方的观点来讨论的。特别地，对于执行机构与其他部门内部签订的正式协议，也同样适用。当涉及非正式协议时，可以使用项目的资源管理和沟通管理的方式解决。
57720编辑于 2023-02-10 - 来自专栏AI人工智能
领域专用AI模型训练指南：医疗、法律、金融三大垂直领域微调效果对比
领域专用AI模型训练指南：医疗、法律、金融三大垂直领域微调效果对比 Hello，我是摘星！ 在彩虹般绚烂的技术栈中，我是那个永不停歇的色彩收集者。 这些差异化需求决定了我们不能简单地使用一套通用的微调策略，而需要针对每个领域的特点制定专门的训练方案。通过对比实验，我发现领域专用模型在专业任务上的表现显著优于通用模型。 在医疗诊断准确率测试中，经过专业微调的模型比通用模型提升了35%；在法律条文匹配任务中，专业模型的精确度提升了42%；在金融风险预测方面，专业模型的预测准确率提升了28%。 移除身份证号 text = re.sub(r'\d{17}[\dXx]', '[ID]', text) # 移除电话号码 text = re.sub(r'1[3-9] 参考链接Transformers模型微调最佳实践医疗AI应用伦理指南法律科技发展报告金融AI风险管理框架领域适应学习综述关键词标签#领域专用AI #模型微调 #医疗AI #法律科技 #金融风控
85210编辑于 2025-08-21 - 来自专栏AIGC 先锋科技
全面增强LLM的多领域性能，新型微调框架，实现LLM的跨领域知识均衡 ！
尽管它们具有潜力，但现有研究主要关注微调过程中的特定领域增强，其中挑战在于其他领域的知识灾难性遗忘。 此外，在关注特定领域微调时，VersaTune在保持目标领域训练有效性的同时，将其他非目标领域的性能降级减少了38.77%。 作者提出以下论断： 第一条声明：使用特定领域数据比例 微调的LLM将在与预训练输出分布 对齐的这些领域中表现出增强和均衡的性能，与使用不匹配的数据分布微调的模型相比。 然后，作者计算这些域内所有数据概率分布的加权平均值，从而得出当前基础模型的域知识分布（Line 9）。为确保统计稳健性，该过程迭代执行次，作者使用这些次迭代的平均值作为域知识分布的估计结果。 （第8-9行）；否则，作者保持当前领域分布，并只进行如算法2中所述的轻微调整和归一化（第10-11行）。
72810编辑于 2024-12-30 - 来自专栏圣杰的专栏
DDD理论学习系列（9）-- 领域事件
领域事件是一个领域模型中极其重要的部分，用来表示领域中发生的事件。 忽略不相关的领域活动，同时明确领域专家要跟踪或希望被通知的事情，或与其他模型对象中的状态更改相关联 针对官方释义，我们可以理出以下几个要点： 领域事件作为领域模型的重要部分，是领域建模的工具之一。 用来捕获领域中已经发生的事情。 并不是领域中所有发生的事情都要建模为领域事件，要忽略无业务价值的事件。 领域事件是领域专家所关心的（需要跟踪的、希望被通知的、会引起其他模型对象改变状态的）发生在领域中的一些事情。 简而言之，领域事件是用来捕获领域中发生的具有业务价值的一些事情。 在DDD中，领域事件作为通用语言的一种，是为了清晰表述领域中产生的事件概念，帮助我们深入理解领域模型。 2.
2K90发布于 2018-01-11 - 来自专栏自然语言处理(NLP)论文速递
UC伯克利 | 提出索增强微调(RAFT)，只需少量微调，就能大幅提升模型领域QA能力
为了有效地让模型掌握这些新知识，本文作者提出了一种名为「检索增强微调（RAFT）」 的方法。这是一种简单而强大的微调方法，只需简单的微调，就可大幅提升模型在“开卷”特定领域下的问答性能。 「RAFT方法关注的是更加细分的特定领域，并在此领域上进行开卷考试」。LLM可以使用所有在这个特定领域内经过微调的信息来回应用户的提问。 本篇文章主要研究的就是这样的特定领域开卷设置，以及如何让预训练的LLM适应这个特定领域，包括如何让它对检索到的文档数量的变化和干扰项更加稳健。 RAFT方法介绍 RAFT（检索增强微调）是一种新方法，用于准备数据微调，以便对模型定制化以适应特定领域的”开卷考试“，也就是领域内的RAG。 如下图所示，RAFT 提高了所有专业领域的 RAG 性能，在下面测试集上可以看到特定领域的微调显着提高了基础模型的性能，但 RAFT 始终优于现有的特定领域微调方法。
1.1K10编辑于 2024-03-25 - 来自专栏AI
微调
在高层次上，微调包括以下步骤：准备并上传训练数据训练一个新的微调模型评估结果，如果需要，返回到步骤 1使用您的微调模型访问我们的定价页面，了解有关微调模型训练和使用的更多信息。 可以进行微调的模型有哪些？GPT-4的微调目前处于实验性访问计划中 - 符合条件的用户可以在创建新的微调任务时在微调界面上申请访问权限。 微调可以用于创建一个专注于特定领域的模型，并表现出特定的内在行为模式。检索策略可以通过在生成响应之前为模型提供相关背景来使新信息对模型可用。 我可以继续微调已经微调过的模型吗？是的，您可以在创建微调作业时将已微调模型的名称传递给模型参数。这将以已微调模型为起点开始一个新的微调作业。我如何估计微调模型的成本？请参考上文中的成本估算部分。 新模型将支持具有 4k 令牌上下文的微调，并具有截止到 2021 年 9 月的知识截止日期。对于大多数任务，您应该期望从 gpt-3.5-turbo 获得比从 GPT 基础模型更好的性能。
71010编辑于 2024-04-20 - 来自专栏程序随笔
聊聊GLM-4-9B开源模型的微调loss计算
概述 Github官方地址：GLM-4 网上已经有很多关于微调的文章，介绍各种方式下的使用，这里不会赘述。 我个人比较关心的是微调时的loss计算逻辑，这点在很多的文章都不会有相关的描述，因为大多数人都是关心如何使用之类的应用层，而不是其具体的底层逻辑，当然咱也说不清太底层的计算。 微调 微调格式： [ { "messages": [ { "role": "system", "content": "<system prompt { "role": "assistant", "content": "<assistant response text>" } ] } ] 微调源码地址
48310编辑于 2024-06-13 - 来自专栏人工智能机器学习
企业运维安全管理实践的9大领域
提权的提权，内网的内网 神器而已之奇虎360某站GETSHELL内网漫游到webscan了 网站备份文件放在WEB根目录下，并且能被用户下载 网站代码存在漏洞 Shell之后漫游内网 运维管理实践一般包含以下9个内容 物理安全 3.身份与访问控制管理 4.主机安全 5.通信与网络安全 6.灾难恢复计划与业务连续性 7.安全运营：部门角色及所承担责任 8.安全配置管理：安全上线步骤、数据泄露防护（DLP）脆弱性扫描与测试 9.
1.3K00发布于 2019-07-22 - 来自专栏NLP/KG
LLM资料大全：文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等
LLM资料大全：文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等自ChatGPT为代表的大语言模型（Large Language Model, LLM）出现以后，由于其惊人的类通用人工智能 200k可商用Mixtral Base&Chat 8x7B 32k可商用Yi Base&Chat 6B/9B 应用2.1 垂直领域微调医疗法律金融教育科技电商网络安全农业2.2 LangChain应用2.3 其他应用3. 数据集预训练数据集SFT数据集偏好数据集4. LLM训练微调框架5. 轩辕在BLOOM-176B的基础上针对中文通用领域和金融领域进行了针对性的预训练与微调，它不仅可以应对通用领域的问题，也可以解答与金融相关的各类问题，为用户提供准确、全面的金融信息和建议。 包括120万训练数据，73个Prompt，9个任务。
4.6K13编辑于 2024-04-29 - 来自专栏cookily
项目管理领域的常见英文术语，特别是 9 大知识领域有关的知识
软考项目管理领域的常见英文术语，特别是 9 大知识领域有关的知识 软考项目管理领域的常见英文术语 一.项目管理基础术语 二.项目整体管理 三.项目范围管理 四.项目时间管理 五.项目人力资源管理 六.项目成本管理 七.项目采购管理 八.项目质量管理 九.项目风险管理 十.项目沟通管理 软考项目管理领域的常见英文术语 一.项目管理基础术语 项目（Project） 运营、操作（Operation） 一般管理（
2.2K12编辑于 2022-10-05 盘点1×9光模块应用 6 大领域核心设备
也正因这些特性，它至今仍是工业控制、基建通信等对可靠性要求严苛领域的"核心搭档”。 二、核心应用设备大盘点，覆盖6大关键场景1.工业控制核心设备:稳字当头PLC 控制系统：汽车生产线、智能工厂里的“控制中枢"，靠 1x9 光模块实现RS485/CAN 总线信号的稳定传输。 网络通信基础设备:升级改造好帮手：企业网、小区宽带的"提速利器”，主流采用 155M 或 1.25G 速率的 1x9模块，通过 ODF 配线架直连能减少 30% 熔接点，降低维护成本。 5.医疗专用设备:精准传输无干扰等影像设备:旋转部件的信号传输靠 1x9 模块完成，金属外壳能有效屏蔽 x射线干扰，且插拔寿命超 500 次，满足设备高频维护需求。 从工厂流水线到变电站，从监控摄像头到医疗设备，1x9光模块虽不显眼，却是保障设备通信的"隐形功臣"。选对它，才能让你的设备在各种环境下都稳定运行。
25810编辑于 2025-12-31- 来自专栏DeepHub IMBA
解决语义搜索痛点，基于对比学习的领域特定文本嵌入模型微调实践
然而，通用嵌入模型在处理特定领域任务时往往存在性能瓶颈。微调技术为解决这一问题提供了有效途径。本文将深入探讨嵌入模型微调的核心原理，并以AI职位匹配为例，详细阐述基于对比学习的微调实现过程。 基于对比学习的嵌入微调方法 嵌入微调通过在特定任务数据上进行额外训练来调整预训练模型的表示能力。这种方法特别适用于需要匹配不同长度文本（如简短查询与详细文档）或理解领域特定术语的场景。 例如，在云计算领域，"扩展"和"实例"等术语具有专门的技术含义，通用模型可能无法准确表示这些概念。 对比学习是实现嵌入微调的核心技术。 微调后的模型在测试集上实现了100%的准确率，充分证明了针对特定领域进行模型优化的必要性和可行性。 嵌入模型微调不仅解决了通用模型在专业领域表现不佳的痛点，更为构建高质量的语义搜索系统提供了切实可行的技术路径。
38410编辑于 2025-08-20 - 来自专栏NLP/KG
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法 1.SFT 监督微调 1.1 SFT 监督微调基本概念 SFT（Supervised 监督式微调在计算机视觉、自然语言处理等领域中得到了广泛应用。然而监督也存在一些缺点。首先，需要大量的标注数据用于目标任务的微调，如果标注数据不足，可能会导致微调后的模型表现不佳。 P-tuning v2 微调方法 3.1 P-tuning v2 微调方法的相关技术 传统的微调方法需要微调整个预训练语言模型，对于大语言模型的微调需要大量的资源和时间，急需更加高效的微调方法。 5.关键知识点总结 SFT监督微调时监督微调时，学习率通常会设置得很小 常见误区：1.监督微调需要大量的训练时间和数据 2.监督微调将复制源模型的所有参数至目标模型 3.监督微调只需要几十条监督数据即可 监督微调常见任务：1.用中文预训练BERT模型完成中文实体识别任务 2.训练语言模型GPT3 3.UIE模型在垂直领域的数据集上微调 常见误区：在ImageNet上的预训练的模型再来训练目标检测任务
10.1K66编辑于 2023-10-11 - 来自专栏机器之心
RAG还是微调？微软出了一份特定领域大模型应用建设流程指南
机器之心报道 编辑：rome 检索增强生成（RAG）和微调（Fine-tuning）是提升大语言模型性能的两种常用方法，那么到底哪种方法更好？在建设特定领域的应用时哪种更高效？ 在构建大语言模型应用程序时通常有两种常见的方法来整合专有和特定领域的数据：检索增强生成和微调。检索增强生成通过外部数据增强提示，而微调将额外的知识整合到模型本身中。 本文涉及的是农业研究，目标是生成该特定领域的答案。因此研究的起点是农业数据集，它被输入到三个主要组件中：问答生成、检索增强生成和微调过程。 方法 本文第 2 部分详细介绍采用了方法论，包括数据获取过程、信息提取过程、问题和答案生成，以及模型的微调。该方法论围绕着一个旨在生成和评估用于构建领域特定助手的问答对流程展开，如下图 1 所示。 最后，流程通过 Q&A 对微调模型。优化过程采用了低秩调整（LoRA）等方法，确保全面理解科学文献的内容和背景，使其成为各个领域或行业的有价值资源。
79310编辑于 2024-02-26 XTuner 微调
xtuner train 命令用于启动模型微调进程。该命令需要一个参数：CONFIG 用于指定微调配置文件。 对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。 增量预训练微调 定义一些基本方法。 tree -l 准备配置文件 在准备好了模型和数据集后，我们就要根据我们选择的微调方法结合微调方案来找到与我们最匹配的配置文件了，从而减少我们对配置文件的修改量。 在 PART 2 的部分，由于我们复制的配置文件是全参数微调的配置，而我们希望使用 QLoRA 算法进行微调，所以可以添加 QLoRA 算法的配置。
47810编辑于 2024-10-10- 来自专栏AI理论与前沿
对于大模型，到底微调还是不微调？
当时，最先进的领域应用通过监督微调（SFT）构建，即使用标注数据对预训练模型进行进一步训练，以适应自己的领域和下游任务。然而，随着大型模型（>1B 参数）的兴起，微调的问题变得更加复杂。 QLoRA 这样的算法使得使用有限资源对大模型进行微调变得更加可行。作为示例，表 1 显示了 Llama 2 7B 的三种微调模式（全微调、LoRA 和 QLoRA）的峰值 GPU 内存。 1.3 处理代表性不足的领域尽管 LLM 经过大量通用数据训练，但它们并不总是能够掌握每个小众领域的细微差别、术语或特定性。在法律、医疗或金融等领域，微调已被证明可以提高下游任务的准确性。 我们提供两个示例：如文章中所述，患者的病历包含高度敏感的数据，通常不在公共领域中出现。因此，基于 LLM 的病历总结系统需要进行微调。 我们提供三个示例：微调 LLM 以更好地使用或忽略来自检索器的上下文微调 LLM 评审模型来评估其他 LLM 的指标，如扎根性、合规性或有用性微调 LLM 来增加上下文窗口2 微调与其他领域适应技术的比较
93000编辑于 2024-09-17 - 来自专栏对白的算法屋
当我在微调的时候我在微调什么？
作者 | BroLin 出品 | 对白的算法屋 从 BERT 开始，预训练模型(PLMs)+微调(finetune)已经成为了NLP领域的常规范式。 微调效果到底好不好，微调之后的词向量表示是否有效，可以直接用针对下游任务的分类器的准确度来衡量。只有微调效果足够好时，分类效果才够准。 DIRECTPROBE 基于聚类的探针。 通过比较微调前后不同簇之间的距离，可以量化微调之后的词向量表示的变化。 分类器探针接到BERT输出层，跟着BERT一起微调。为了降低微调过程中不稳定性的影响，同一个任务作者使用不同的初始化参数进行了五次微调。 使用原始train对BERT~small~进行微调，微调前后均只使用subtrain训练分类器。分类器的训练不参与微调。 如下图所示，微调前分类器在subtest和test上的学习曲线一致。
2.1K10编辑于 2022-04-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号