- 综合排序
- 最热优先
- 最新优先
- 来自专栏HUC思梦的java专栏
从LLaMA-Factory项目认识微调
概述 什么是LLaMA-Factory？ LLaMA-Factory是一个在github上开源的，专为大模型训练设计的平台。 项目提供中文说明，可以参考官方文档：https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md 为什么要学习LLaMA-Factory 对于想要了解微调大模型技术的技术人员，通过学习LLaMA-Factory后也能快速理解模型微调的相关概念。 所以，我认为LLaMA-Factory是走向大模型微调的一条捷径。 如何学习？ 实际上，如果选择使用LLaMA-Factory进行微调，我们按照LLaMA-Factory的数据集格式要求准备数据就可以了。 https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md 数据集准备 根据LLaMA-Factory官方提供的数据准备文档，可以看到训练数据的格式
10.2K14编辑于 2024-04-18 - 来自专栏火山信安实验室
【漏洞通报】Llama-Factory vhead_file 代码执行漏洞
漏洞情况近期，火山信安实验室监测发现，Llama-Factory 作为一款用于微调大型语言模型（LLM）的开源工具，支持多种主流的 LLM 模型，在相关领域得到了一定应用。 当 Llama-Factory 处理该请求时，会尝试加载并解析 vhead_file 所指定的文件。 在解析这个恶意输入文件的过程中，Llama-Factory 存在安全缺陷，可能会执行文件中包含的恶意代码。 0x02影响范围Llama-Factory 的某些早期版本存在此漏洞，具体版本号可能包括但不限于某些特定的小版本号（如 1.x.x 中的某些版本，但具体需参考官方安全公告）0x03修复方案建议用户尽快升级到 Llama-Factory 的最新安全版本，以确保系统不受此漏洞的影响在等待升级的过程中，可以采取一些临时防护措施，如限制对 vhead_file 参数的访问权限、增加输入验证和过滤机制等加强对 Llama-Factory
18510编辑于 2025-09-22 - 来自专栏机器之心
一行代码Post-Train任意长序列！360智脑开源360-LLaMA-Factory
然而，LLaMA-Factory 在长序列后训练上支持仍有所欠缺，尚不支持长序列的关键技术 —— 序列并行。 正式合并进 LLaMA-Factory 主仓之前，可先使用 360-LLaMA-Factory。 LLaMA-Factory 的序列并行也做到了简单易用和兼容并包，和 LLaMA-Factory 的其他功能完全兼容。 在开源的 Megatron-LM 中，序列并行也是所有并行策略中最后才添加的，LLaMA-Factory 之前还没有支持序列并行。 有的与 LLaMA-Factory 相比继承依赖更少，支持功能较少但更干净、更适合定制开发，有不同的使用场景。此外，各家的序列并行具体实现也不尽相同。
37800编辑于 2025-02-03 - 来自专栏深圳架构师同盟
Llama-Factory 意图识别模型微调实战（RTX 4090D 24G）
2、云主机配置及启动llama-factory webui开机后可以通过JupyterLab跳转页面进行配置且打开llama-factory webui页面/jupyterlab页面如下：根目录中LLaMa-Factory 选择创建终端，接着启动Llama-Factory框架的webui，如截图就说明启动成功了。 bash /root/LLaMA-Factory/chuli/one.sh然后到AutoDL实例页面选择“自定义服务”根据本地电脑os不同选择对应的使用方式：笔者是mac系统。 python /root/LLaMA-Factory/模型贩卖机.py2、准备对应的训练数据集按照如下截图将微调数据集按照如下问答的格式粘贴到“放置数据集.txt”文件中接下来，在终端中执行命令处理数据集 ，会自动将如上准备的问答数据集转存到训练格式的train.json文件中bash /root/LLaMA-Factory/chuli/单多轮脚本/DD.sh3、llama-factory框架微调相关配置选择基础模型
38710编辑于 2026-01-21 - 来自专栏《Cloud Studio》
【无需服务器】零代码微调DS
82660934bb34b389526c1352749933a4&sharer_shareinfo_first=82660934bb34b389526c1352749933a4&version=4.1.33.99589&platform=mac#rd大模型微调Llama-Factory Llama-Factory通过可视化界面实现零门槛模型定制。本文手把手教你用5个步骤完成大模型专属训练，让AI精准适配你的业务场景。为什么选择LLMF？ Llama-Factory通过封装底层技术细节，提供可视化Web界面和配置文件驱动模式，让普通人都能快速上手。 [torch,metrics]"四、启动Llama-Factory可视化界面llamafactory-cli webui五、Cloudflare内网穿透开始微调六、下载数据集(GitHub、飞桨、魔搭社区均可 huanhuan.jsonhttps://aistudio.baidu.com/datasetoverviewhttps://www.modelscope.cn/datasets七、导入并配置数据集/LLaMA-Factory
48900编辑于 2025-03-17 - 来自专栏算法一只狗
谁说多模态微调难？我用这套方法，连Qwen2-VL和LLaMA3都能搞定！
微调过程主要依靠LLaMA-Factory这个开源仓库的代码进行辅助。 LLaMA-Factory官方仓库链接： https://github.com/hiyouga/LLaMA-FactoryLLaMA-Factory最大的优势是简化了微调过程，用户只需准备好自己的数据集 首先需要将LLaMA-Factory的代码仓库下载到本地，然后按照官方文档的步骤进行环境配置。环境准备完成后，下一步是下载模型和准备数据集。 LLaMA-Factory提供了便捷的命令行指令，只需简单执行几条命令，就能轻松开始模型的微调过程。模型微调完成后，最终的模型权重文件会保存在models/qwen2_vl_lora_sft目录下。
1.6K10编辑于 2025-05-10 - 来自专栏MGS浪疯 Blog
使用LLaMA-Factory对LLM大模型进行微调！训练专属于你的模型！
本篇文章，就带大家走一遍微调大模型的全流程 所用项目 LLaMA-Factory：https://github.com/hiyouga/LLaMA-Factory qwen2.5:7b:https:// huggingface.co/Qwen （因为目前LLaMA-Factory支持的模型有限，所以并没有采用腾讯开源的混元模型，但总体教程是一样的） 所用设备 因为涉及到模型训练，所需要的算力也比较大，同时 这里地区选择可以根据自己需要选择，因为目前国内部分地区也有学术加速，不会说在下部分文件的时候出现无法下载的情况 开启学术加速（非必需） 服务器创建后，在控制台首页右侧会有一个学术加速按钮，我们点击，选择对应地区即可开启 安装LLaMA-Factory conda create -n LLaMa python=3.11 随后就会自动开始安装我们所需要的东西 完成后，我们输入 conda activate LLaMa 即可进入我们这个虚拟环境 LLaMA-Factory 安装 我们按照官方给的文档，依次输入下面三条指令 git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory
3.3K91编辑于 2024-11-22 - 来自专栏xiaosen
LLaMA Factory微调Llama3模型
modelscope:1.14.0-pytorch2.1.2-gpu-py310-cu121-ubuntu22.04 我们来微调llama3-8B模型尝试一下 安装LLaMA Factory 拉取LLaMA-Factory 项目 git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git # 正克隆到 'LLaMA-Factory'... remote 然后安装LLaMA-Factory依赖环境。 | | Project page: https://github.com/hiyouga/LLaMA-Factory | ---------------------------------------------------------- LLaMA-Factory项目内置了丰富的数据集，放在了data目录下，我们也可以准备自定义数据集
61310编辑于 2024-09-05 - 来自专栏新智元
OpenAI服务受限？别担心，来这里丝滑玩转700亿参数Llama3，还有100元券免费薅！
此时我们发现，其实Llama-Factory的代码既支持推理也支持微调，所以干脆直接拿这个镜像来试试好了。 Llama-Factory项目地址：https://github.com/hiyouga/LLaMA-Factory 和之前一样的流程启动云主机，这次选择Llama-Factory镜像，卡数选4即可。 微调 针对微调，Llama-Factory已经给出了资源使用的预估。 那接下来，我们就来尝试一下先用Lora微调Llama 3的小模型。 我们很快就找到了这两个数据集的位置，放在/root/LLaMA-Factory/data下。 LLaMA-Factory: https://github.com/hiyouga/LLaMA-Factory
25810编辑于 2024-06-27 CBT-LLM 心理大模型微调，用 LLaMA Factory 微调框架就够啦！| 附一键复现指南
02 | LLaMA-Factory 微调在论文中的体现 论文： CBT-LLM: A Chinese Large Language Model for Cognitive Behavioral Therapy-based 图片 此研究使用了LLaMA-Factory高效模型训练微调框架，使用了添加系统指令的 CBT QA 数据集，选取了LLaMA-Chinese-7B、Alpaca-Chinese-7B、Qwen-7B 从数据可见，经 LLaMA-Factory 微调后，各基线模型在心理健康问答任务中均展现出良好性能，其中 Baichuan-7B 在 BLEU、METEOR、CHRF、BLEURT 等指标上表现最优，体现出模型在回答结构完整性上的优势 ，证明 LLaMA-Factory 的微调能力可有效提升模型对 CBT 框架的贴合度。 03 | 一键式复现 为加速研究转化，Lab4ai.cn 提供了基于LLaMA-Factory的CBT-LLM完整可复用方案，无需用户进行复杂的环境配置，即可一键式体验模型复现流程。
35410编辑于 2025-11-12- 来自专栏人工智能极简应用
AI智能体研发之路-模型篇（一）：大模型训练框架LLaMA-Factory在国内网络环境下的安装、部署及使用
今天力荐的项目是LLaMA-Factory，我在去年8月份就开始使用这个项目进行模型部署和微调训练（fine tune），当时各家大模型仅限于推理测试，OpenAI还没有对外提供微调服务，加上这个项目部署丝滑 二、LLaMA-Factory项目介绍 2.1 项目特色 多种模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi ' services: llama-factory: build: dockerfile: Dockerfile context: . 四、LLaMA-Factory项目微调训练 终于来到我们最喜欢的炼丹环节！开发工作中，搭环境永远是最麻烦的，雨过天晴，让我们一起训练大模型吧！ 五、总结 本文先对LLaMA-Factory项目进行介绍，之后逐行详细介绍了该项目在国内网络环境下如何安装、部署，最后以Baichuan2-7B为例，通过讲解训练参数的方式详细介绍了基于LLaMA-Factory
8.2K11编辑于 2024-08-13 - 来自专栏AI智韵
增量预训练全攻略：用LLama-Factory实现垂直领域模型定制化，算力节省90%的实战秘籍
比如prose.jsonl 安装LLama-Factory Linux CUDA 安装 CUDA 是由 NVIDIA 创建的一个并行计算平台和编程模型，它让开发者可以使用 NVIDIA 的 GPU 进行高性能的并行计算 在这里插入图片描述 LLaMA-Factory 安装 在安装 LLaMA-Factory 之前，请确保您安装了下列依赖: 运行以下指令以安装 LLaMA-Factory 及其依赖: git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e ". 解决 LLaMA-Factory 校验 完成安装后，可以通过使用 llamafactory-cli version 来快速校验安装是否成功 如果您能成功看到类似下面的界面，就说明安装成功了。 在这里插入图片描述 LLaMA-Factory 高级选项 Windows QLoRA 如果您想在 Windows 上启用量化 LoRA（QLoRA），请根据您的 CUDA 版本选择适当的 bitsandbytes
3.5K10编辑于 2025-05-23 - 来自专栏福大大架构师每日一题
LLaMA-Factory v0.9.3版本全面解读：多模态模型新特性、丰富基础与指令模型及关键优化
本文将深度解读这一版本的亮点内容，带你全面了解LLaMA-Factory在基础模型、多模态推理、训练优化、云端支持以及生态系统等方面的最新进展。 一、概述 LLaMA-Factory作为开源大模型生态的重要组成，不断推进模型多样化和应用场景扩展。 五、生态与未来展望 LLaMA-Factory v0.9.3不仅带来了模型性能的飞跃，也完善了整个生态体系。丰富且强大的多模态能力满足科研人员与工业用户多样需求。 未来，随着模型规模和多模态算法的进一步突破，LLaMA-Factory将持续引领开源大模型生态发展。在跨模态理解、复杂对话生成、自适应多任务训练等方向的潜力无限。 七、总结 LLaMA-Factory的v0.9.3版本是一个里程碑级更新，汇聚了社区多年积累的技术成果和需求洞察。
77220编辑于 2025-06-19 - 来自专栏【腾讯云开发者】
从DeepSeek到Manus：如何实现本地LLM微调+联网开发？
基座模型部署及效果展示 启动 LLama-Factory webUI cd LLaMA-Factory llamafactory-cli webui 浏览器访问 ip:7860 配置模型名称以及本地模型文件路径 ，然后点击加载模型，此时 LLaMA-Factory 就会加载路径下单模型。 (注意：LLaMA-Factory 默认包含 identity.json数据集，覆盖即可) 修改数据注册文件dataset_info.json文件。 支持非常多的微调参数，了解详情可查看 llama-factory官方文档。 微调后新模型效果演示 此时使用LLaMA-Factory webui 加载新模型，然后与之对话。就可以得到微调后的模型了。
1.4K10编辑于 2025-03-11 零代码驯服GPT-OSS！我用LLM模型微调复活了“韦小宝”
但当我启用在LLaMA-Factory Online平台上微调后的“韦小宝” 时，画风瞬间变了：这个油嘴滑舌、机灵透顶的回复，完美复刻了金庸先生笔下的经典形象。 整个流程，在LLaMA-Factory Online平台上点点鼠标即可完成。平台登录进入LLaMA-Factory Online平台，点击“控制台”，进入控制台后点击左侧导航栏的“模型微调”进入页面。 通过GPT-OSS这样的强大开源模型和LLaMA-Factory Online这样的普惠平台，每个有想法的创作者，都有能力打造属于自己的、有灵魂的数字角色。PS.如何学习AI大模型？
11800编辑于 2025-10-29- 来自专栏程序随笔
聊聊大模型的微调实现及其应用
比如 ChatGLM-Efficient-Tuning、LLaMA-Factory。 LLaMA-Factory 这个开源库相比较其余的库，更全面，更方便。有如下几点我是比较喜欢的。 训练方法 如图，多种训练方法都支持，很全面。 CareGPT 就是基于开源微调库LLaMA-Factory实现的医疗领域大模型。
76610编辑于 2024-03-16 2小时打造专业医疗助手：基于CareGPT与Qwen3-8B的微调实战
具体操作，可参考SFTP上传下载 | Llama-Factory Online docs完成数据集上传。 ● 单击链接，下载ChatMed_Consult_Dataset数据集。 进入LLaMA-Factory Online平台，单击“控制台”，进入控制台后单击左侧导航栏的“实例空间”，然后在页面单击“开始微调”。 b. 返回LLaMA-Factory Online控制台，单击左侧导航栏的“文件管理”。 b. 单击目标数据集右侧“操作”列的"数据集检测"，检测数据集。 进入LLaMA-Factory Online平台，单击“控制台”，进入控制台后单击左侧导航栏的“模型微调”进入页面。 2. 选择模型和数据集，进行参数配置。 ○ 选择价格模式：本实践选择“极速尊享”（如图⑦），不同模式的计费说明参考模型微调 | Llama-Factory Online docs。 ○ 开始训练：单击“开始训练”，开始模型训练。
56210编辑于 2025-10-29- 来自专栏张高兴的博客
大模型开发实战：（五）使用 LLaMA Factory 微调与量化模型并部署至 Ollama
环境搭建与配置 克隆 LLaMA Factory 的 Git 仓库（https://github.com/hiyouga/LLaMA-Factory），创建 Python 虚拟环境并安装依赖。 git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e ". 将下载好的 JSON 数据集放入 LLaMA-Factory/data 目录下，并在 LLaMA-Factory/data/data_info.json 中注册数据集。 模型路径设置为上面下载的模型路径，例如在 LLaMA-Factory 目录下新建一个 models 文件夹，将下载的模型移动到此文件夹内，可设置路径为 models/Qwen2.5-7B-Instruct 模型训练好后，会保存至 LLaMA-Factory 的 saves 文件夹中。 模型导出与量化 下面切换至 Export 选项卡，设置导出参数。补全检查点路径与导出目录，点击开始导出。
4.5K40编辑于 2025-05-21 Qwen3-Omni多模态微调实战：从通用模型到AI智能博物官
LLaMA-Factory（本文选用框架） LLaMA-Factory（LLaMA Factory）作为国内北航开源的低代码大模型训练框架，致力于降低大模型微调的技术门槛，让更多开发者和企业能够快速享受大模型技术红利 LLaMA-Factory在易用性、效率和经济性方面表现卓越，是大多数企业和开发者的理想选择。 如果您面临计算资源有限、团队技术背景多元、项目周期紧张或关注总体拥有成本等情况，LLaMA-Factory无疑是最佳选择。 具体操作，可参考SFTP上传下载 | Llama-Factory Online docs完成数据集上传。 操作详情 1. 虽然领域适配过程中会遇到数据准备、参数调优等挑战，但借助LLaMA-Factory Online，我们仅用少量数据和有限算力就实现了专业级的智能导览效果。
1.3K20编辑于 2025-10-29- 来自专栏AIGC新知
浅谈宇宙最强开源大模型Llama3如何应用
03、Llama3大模型微调 LlamaFactory支持llama3，发布了自己的Colab微调实战案例： 项目主页: https://github.com/hiyouga/LLaMA-Factory 注：请申请一个免费 T4 GPU 来运行该脚本 安装 LLaMA Factory 依赖 %cd /content/ %rm -rf LLaMA-Factory ! git clone https://github.com/hiyouga/LLaMA-Factory.git %cd LLaMA-Factory %ls ! import json %cd /content/LLaMA-Factory/ NAME = "Llama-Chinese" AUTHOR = "LLaMA Factory" with open( from llmtuner import run_exp from llmtuner.extras.misc import torch_gc %cd /content/LLaMA-Factory/
96110编辑于 2024-10-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号