- 综合排序
- 最热优先
- 最新优先
- 来自专栏大模型&AIGC
6种大模型微调技术
值得一提的是，通过使用T5模型进行模型大小的消融实验，我们展示了提示微调随着规模的增加变得更加具有竞争力：当模型参数超过数十亿时，我们的方法“缩小了差距”并达到了模型微调（即调整所有模型权重）的强大性能 input和target，则使用原始的input embedding(5) 使用方式离散和连续template token混合时，显示地插入一下anchor（离散的token）有助于template的优化(6) ，无需verbalizer(4) 特点在小、大模型上，效果均优于P-tuning。 当参数量达10B，效果相当于FT6.LoRA（2021）(1) 论文信息来自论文：《LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS》（2）摘要自然语言处理的一个重要范式包括在通用领域数据上进行大规模预训练 Model)，学习目标为而加入LoRA后，学习目标为：(6) 配置在多个部位$(Q/K/V/Output)$同时添加$\bigtriangleup W$ ，会比只在单一部分上添加权重$\bigtriangleup
2.7K00编辑于 2025-05-08 - 来自专栏6G
6G，AI , 与大模型?
6G与AI融合的未来方向 6G 网络的内生 AI 设计将赋能网络的AI大模型，同时使网络能够支持 AI 大模型的训练和服务。 另外，从小模型到大模型，生产效率跨越式提升基础通用大模型具有泛化性，网络智能化将从用例驱动转变为能力驱动，迅速降低应用开发门槛，加速 AI 工程化、规模化落地。 6G 网络将承担数据采集、预处理等数据服务，为云AI训练提供更好的支持。此外，6G 网络的分布式部署将使得 AI 大模型更靠近用户侧，从而在时延方面具有潜在优势。 在数据获取和处理方面，与 ChatGPT 不同，网络中存在大量结构化数据，且网络不同问题间的共性不清晰，网络 AI 大模型面临较大挑战。6G 网络面临如何有效采集适合AI大模型训练的数据的挑战。 而在构建 AI 大模型的路径上，需要分阶段探索，从离线小规模模型开始，逐步过渡到实时大规模模型，最终实现统一的网络 AI 大模型。 本文摘自于中国移动的“6G内生AI架构及AI大模”汇报材料。
42510编辑于 2024-04-24 - 来自专栏科技云报道
通用与垂直大模型之战：大模型驱动的商业智能变革之路
是做通用大模型还是垂直大模型，这一个争论在“百模大战”的下讨论愈发热烈。 目前，以微软、谷歌、百度、阿里等为代表的发力于通用大模型的科技大厂，也都开始推动大模型在垂直领域的商业化落地。 垂直大模型则更为直接的深入特定行业和应用场景，如金融、医疗或零售等，相比于通用大模型，垂直大模型能够更精准地满足行业特定的需求。 说到底，无论是通用还是垂直大模型，其核心点还是落地场景和商业化。 大模型重新定义了人工智能的边界和可能性，但更需要的是，在具体的商业环境中找到了新的生存空间和增长点。 在众多垂直领域中，大模型在智能商业BI领域落地尤为引人注目。 寻找通用与 垂直大模型的平衡点 回到开头通用和垂直大模型的讨论上。 这一次，有记者在网易数帆城市行媒体沟通环节将这个问题抛给了网易。 在大模型掀起的新时代里，许多企业都站在了一个十字路口，开始寻找通用大模型与垂直行业大模型之间的平衡。
1.2K50编辑于 2023-08-18 - 来自专栏机器之心
大语言模型的可信之路：TrustLLM全面揭秘
尽管⼈们已经付出了非常多的努力来确保大语言模型的可信赖，一个问题仍然存在：我们真正能在多大程度上信任 LLMs？ 论文得出的核心结论如下： 可信性与大语言模型的能力密切相关。作者的发现表明，可信性与实用性之间存在正相关，尤其在特定任务中更为明显。 评估基准的建⽴ 由于透明度和问责性难以建⽴基准，因此作者对前 6 个维度建⽴了基准测试。他们汇集了超过 30 个高质量的数据集，并根据各种实际应用场景设计了多维度任务。 接下来，他们观察到不同程度的过度安全问题（如图 5 右侧），这是近期研究中突出的一个问题（大语言模型会拒绝回答无害的输⼊）。 最后，他们通过偏好询问来探究大语言模型中潜在的偏见问题（Preference）。 鲁棒性（Robustness） 在大型语言模型（LLMs）中，鲁棒性指的是它们在面对各种输⼊条件时的稳定性和性能。
59410编辑于 2024-02-26 - 来自专栏IT杂谈学习
探索AI大模型学习的未来之路
二、AI大模型学习的理论基础 2.1 深度学习 AI大模型学习建立在深厚的数学和算法基础之上。其中，深度学习技术是支撑大模型学习的重要基石。 2.2 数据处理 在大规模数据处理方面，AI大模型学习具有显著的优势。通过增加模型的深度和宽度，大模型能够捕捉到更多的信息，从而提高模型的准确性和泛化能力。然而，这也带来了计算复杂度和资源消耗的挑战。 3.2 AI大模型在特定领域的应用实例 AI大模型学习在自然语言处理、图像识别、语音识别等领域取得了显著的应用成果。 四、AI大模型学习的注意点 随着AI大模型学习在各领域的广泛应用，其带来的伦理和社会问题也逐渐凸显出来。首先，数据隐私是一个不可忽视的问题。 大模型往往具有复杂的结构和参数，使得其容易受到攻击和篡改。因此，加强模型的安全防护和鲁棒性是大模型学习领域的重要研究方向。
49110编辑于 2024-03-29 大模型的2025：6个关键洞察
以下为卡帕西年度回顾全文：《2025年大语言模型年度回顾》2025年是大语言模型领域大步跨越且充满变数的一年。 通过在数学、代码谜题等大量可自动验证奖励的环境中训练大语言模型，模型会自发形成人类视角下近似“推理”的策略。 Cursor与大语言模型应用的新层级Cursor最引人关注的点（除了其2025年的爆发式增长），在于它清晰揭示了大语言模型应用的一个全新层级，人们开始普遍讨论“某领域的Cursor模式”。 2025 年，行业内围绕这一新应用层的“厚度”展开了大量讨论：大语言模型实验室是否会通吃所有应用场景？还是说垂直领域的大语言模型应用仍有广阔蓝海？ 我个人的观点是，大语言模型实验室更倾向于培育“通识能力极强的大学生”式模型，而大语言模型应用则通过整合私有数据、传感器、执行器及反馈闭环，对这些“大学生”进行针对性组织、微调，最终驱动它们成为特定垂直领域的
60510编辑于 2025-12-24- 来自专栏资讯分享
为什么价值对齐是大模型的必由之路？
大模型价值对齐需要关注个体需求、集体规范、主体能动性，并兼顾技术实践与法律规制。6. 大模型价值对齐仍有理论局限，需要保持开放和审慎的态度，在实践中逐步推进。 刘鹏飞：技术开发人员容易低估大模型价值对齐的重要性我为什么会做大模型的价值对齐研究呢？ 过去在大模型没有出现时，我们还没有察觉到技术可以如此强大，随着GPT3到PaLM到各种各样开源模型出现，大模型的能力越来越强，我们进入到了生成式人工智能的时代。 滕妍：大语言模型的价值设计与评测当前，人工智能步入“通用模型”时代。 全球对于大模型的社会伦理问题非常关注。
64220编辑于 2023-11-10 - 来自专栏大数据成神之路
阿里大数据之路：数据模型篇大总结
，将金融业务划分为10大主题，并以设计面向金融仓库模型的核心为基础，企业基于此模型做适当调整和扩展就能快速落地实施。 ，因此将模型规范到 6NF ，基本变成了k-v 结构化模型。 至此，我们也得到了一个经验：在不太成熟、快速变化的业务面前，构建 ER 模型的风险非常大，不太适合去构建 ER 模型。 主要依据高内聚、低耦合的理念，在物理实现中，将业务关系大、源系统影响差异小的表进行整合： 将业务关系小、源系统影响差异大的表进行分而置之。 其中 VIP 等级共有 8 个值，即 -1 ～6 ；用户信用评价等级共有 18 个值。
2.7K22编辑于 2022-11-11 - 来自专栏新智元
ChatGPT全年更新大总结！重看「大模型风向标」进化之路
新智元报道 编辑：LRS 【新智元导读】2024年，OpenAI的ChatGPT在大模型领域不断突破，推出了多项创新功能，如个性化聊天机器人商店、增强记忆功能、多模态处理能力等，在安全性、稳定性和高效性方面也持续优化 2024年，大模型已经深入融入了我们的日常生活。 而作为领跑者，ChatGPT也一直是大模型届的指南针，无论是去年发布的大模型o1-pro，Sora Turbo，还是各种小功能，比如视频模式、打断说话等，甚至是每月200美元的高额定价，OpenAI的每一场发布会都能给广大 下面共同回顾一下OpenAI在2024年发布的关键更新，一起见证大模型的进化之路！ 1月 GPT商店：用户可以发布构建的个性化聊天机器人（GPTs），按类别进行搜索，如写作、生活方式和教育等。 6月 苹果在2024年全球开发者大会（WWDC）上，宣布与OpenAI达成合作，将ChatGPT集成到Siri中；用户请求不会被OpenAI存储，用户的IP地址会被模糊处理，且用户可选择是否连接ChatGPT
76910编辑于 2025-02-15 - 来自专栏啄木鸟软件测试
多模态大模型技术原理及实战(6)
中小型公司大模型构建之路 如何选择 自己建立 二次开发 重新训练，消耗非常巨大 现有的大模型体系已经非常丰富 对话大模型已经白热化 •三天产生一个小应用 •两天产生一个新模型 中小公司的技术实力相对薄 微调 用 LoRA((Low-Rank Adaptation低秩适配) 2022年 Edward J.Hu PLM(Pre-trained Language Model 预训练语言模型) Redundancy Optimizer，ZeRO） •优化器状态分区(ZeRO-1） •梯度分区 (ZeRO-2） •参数分区(ZeRO-3) 压缩 剪枝 剪枝技术通过理结果产生重要影响，需要剔除冗余参数以提高模型训练效率 步骤 •1、训练一个原始模型，该模型具有较高的性能但运行速度较慢。 •2、确定哪些参数对输出结果的贡献较小，并将其设置为零。 •4、评估模型的大小、速度和效果等指标，如果不符合要求，那么继续进行剪枝操作直至满意为止。
30610编辑于 2024-09-10 - 来自专栏猫头虎博客专区
ChatGLM-6B 大模型的前世今生
ChatGLM-6B 开源模型旨在与开源社区一起推动大模型技术发展，恳请开发者和大家遵守开源协议，勿将开源模型和代码及基于开源项目产生的衍生物用于任何可能给国家和社会带来危害的用途以及用于任何未经过安全评估和备案的服务 尽管模型在训练的各个阶段都尽力确保数据的合规性和准确性，但由于 ChatGLM-6B 模型规模较小，且模型受概率随机性因素影响，无法保证输出内容的准确性，且模型易被误导（详见局限性）。 ： 更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。 将模型下载到本地之后，将以上代码中的 THUDM/chatglm-6b 替换为你本地的 chatglm-6b 文件夹的路径，即可从本地加载模型。 Optional 模型的实现仍然处在变动中。 局限性 由于 ChatGLM-6B 的小规模，其能力仍然有许多局限性。以下是我们目前发现的一些问题： 模型容量较小：6B 的小容量，决定了其相对较弱的模型记忆和语言能力。
1.4K10编辑于 2024-04-08 - 来自专栏MavenTalk
ChatGLM-6B大模型微调实战总结
上篇我们已经具备了 ChatGLM-6B 初步的运行环境，这为实现完全属于自己的模型奠定了基础（快速部署ChatGLM-6B大模型实战总结），接下来将针对模型进行微调，以便让它真正成为一个定制化智能助手 在这个过程中，我将直接使用官方的P-Tuning v2工具对ChatGLM-6B模型进行参数微调。 /THUDM/chatglm-6b \ # 加载模型文件地址 --output_dir output/adgen-chatglm-6b-pt-$PRE_SEQ_LEN-$LR \ # 保存训练模型文件地址 在实践中，我们使用了 ChatGLM-6B 模型，并经历了模型的训练和推理过程。训练模型消耗了相当多的时间，但也让我们体会到了模型训练的复杂性和挑战性。 —扩 展 阅 读— 正在发生或即将发生的AI大模型应用，立帖为证 ChatGPT、Claude和Bard，三足鼎立之势已成 WPS Office AI实战总结，智能化办公时代已来 你对 ChatGPT
4.2K43编辑于 2023-09-06 - 来自专栏AI科技评论
大模型行至深处，「悟道」如何走好全面开源之路？
也因此，智源被斯坦福、谷歌等企业列为大模型的先驱。 尽管如此，由于早期，大模型还缺乏好的应用场景和产品，价值始终无法发挥，大模型的研发也曾受到一些争议。 今年 6 月的智源大会上，北京智源人工智能研究院交出了一份别开生面的成绩单。 黄铁军发布《2023 智源研究院进展报告》 1 “悟道 3.0 ” 有哪些开创性的成就？ 目前，天秤 FlagEval 大模型评测体系及开放平台已推出语言大模型评测、多国语言文图大模型评测及文图生成评测等工具，并对各种语言基础模型、跨模态基础模型实现评测。 其中，FlagOpen 的核心 FlagAI 是大模型算法开源项目，当中集成了全球各领域的一些明星模型，如语言大模型 OPT、T5，视觉大模型 ViT、Swin Transformer，多模态大模型 CLIP 在目前开源项目中，FlagAI 开源最早，从 2022 年 6 月开始，FlagOpen 整个开源体系也是围绕大模型去建设。
79220编辑于 2023-08-08 - 来自专栏AI实验室应用
RLHF三大挑战与突围之路：如何让大模型更懂人类偏好？
从RLHF到DPO：大模型对齐技术的深度演进与实战解析 当大语言模型学会理解人类偏好，一场关于对齐的技术革命正在悄然发生。 最近几年，从ChatGPT到LLaMA 2，大语言模型的“类人”能力不断提升。这背后的关键技术之一便是基于人类反馈的强化学习。 01 大模型训练的三段式进阶之路 基础构建：预训练阶段 预训练（Pre-training）：利用数十亿到数万亿个token的庞大文本语料库对模型继续预训练，使模型能够根据提供的文本来预测「下一个单词」 03 RLHF的五大核心挑战与创新解决方案 挑战一：人工标注成本高、难规模化 解决方案：AI反馈替代人类反馈 RLAIF：使用大模型评估其他模型的输出，构建AI偏好数据集 Constitutional 零样本对齐：在新任务上无需额外对齐 可解释对齐：让对齐过程更加透明可控 个性化对齐：适应不同用户的偏好和价值观 05 结论：对齐之路，以人为本 大模型对齐技术的发展，本质上是让机器更好地理解和服务人类的过程
74122编辑于 2025-12-17 - 来自专栏编程
Python之路-day6
函数f(x)=x*3，运用此函数将列表[1,2,3,4,5,6]中的元素扩大3倍。 #高阶函数 deff(x): returnx*3 y =map(f,[1,2,3,4,5,6]) print(list(y)) 输出是： [3, 6, 9, 12, 15, 18] 如果不使用“list #高阶函数 deff(x): returnx*3 y =map(f,[1,2,3,4,5,6]) print(y) 输出： 解释：因为map()传出的结果是Iterator，要将惰性序列用list()进行转化 ): returnn==int(str(n)[::-1]) print(list(filter(is_palindrome,range(1,200)))) 输出结果： [1, 2, 3, 4, 5, 6,
85480发布于 2018-01-24 - 来自专栏人工智能极简应用
AI智能体研发之路-模型篇（三）：中文大模型开、闭源之争
一、引言 周日休息在家，只有码字才能缓解焦虑哈哈哈，闲逛CSDN发现又出新的话题活动啦——《开源大模型和闭源大模型，你怎么看》。“我怎么看？我坐着看，或者躺着看”。 今天我们详细聊聊中文大模型开闭源的那些事。 二、中文开/闭源大模型概览 大家先看《2024年中文大模型全景图》，对国内中文大模型开闭源情况有个概念。 Tips：图片引自SuperCLUE中文大模型基准测评2024年4月报告，国内领先的大模型评测公司，高中室友创办的，没想到毕业多年，兜兜转转进入到了一个行业，如需合作需要可以联系我哈 闭源大模型：主要有文心一言 开源大模型：主要有baichuan2-13B-Chat、ChatGLM3-6B、Qwen1.5、Chinese-LLaMA-Alpaca-3等。 从商业模式上讲，又可以分为3类。 三、开源大模型 3.1 优点 1、创新和灵活性：开源模型鼓励创新，研究人员和开发者可以自由探索和改进模型，推动技术的发展。
68110编辑于 2024-08-13 - 来自专栏科控自动化
SCADA 大咖之路
对于WinCC V7.x来说，在画面设计中使用脚本将带来非常大的便利性。当要实现对象的动态化，你可以只通过组态的方式来实现。常规的动态应用，通过动态化窗口实现都没有问题。 因此，开始学习并且掌握好JavaScript，就成了更好地使用Portal WinCC Unified的必经之路。 看到这里，你可能会想，我大概明白了编程在SCADA应用中的重要性。 这样，当在网上找到别人编写的一大段代码时，才能在浏览一下，大概就能弄清程序的结构脉络。在理解程序结构的基础上，再去研究其细节的功能实现。才能不至于一下子就掉到某个函数的细节上，而丢失了对整体的把握。 但站在 WinCC 的角度上，多掌握些与 WinCC 相关的 Windows 知识，对我们的 WinCC 成长之路还是大有裨益的。 操作系统，其实也是一种程序，一种特殊的程序而已。 追溯DLL 产生背景，应该是在计算机应用早期，为了解决单体应用程序体积大及占用内存过多而采取的一种解决方案。多个应用程序共享的功能库不用再静态链接到每个单体程序中，从而减小其程序体积。
1.9K20编辑于 2022-03-29 - 来自专栏指尖下的Android
JNI之路径初探---6
本篇文章讲解JNI下属性的内存释放问题，众所周知，JAVA有四大引用，1，强引用2，弱引用3，软引用4，虚引用。JNI有三大引用，1，普通全局引用2，弱全局引用3，局部引用。
39320发布于 2018-09-13 - 来自专栏MavenTalk
快速部署ChatGLM-6B大模型实战总结
近期，IT界掀起了大模型的热潮，各种百模争霸的局面出现。 然而，当开源的大模型 ChatGLM 面世时，我却遇到了一些困扰，但幸运的是，腾讯云给了我一个难得的机会。 下载模型文件 https://github.com/THUDM/ChatGLM-6B 官方网站 从ChatGLM的官方库中下载，将模型文件我放到工程的 ChatGLM-6B/THUDM 目录下面。 huggingface.co/THUDM/chatglm-6b 模型文件比较大(25G)，这里下载需要的时间很长，请耐心等待，以下是目录下载后模型目录下的文件： 测试 终端运行 Demo 进入ChatGLM server.port 27777 --server.address 0.0.0.0 执行成功的效果如下： 打开浏览器可见到如下界面： 跟它对话一下，看看效果： —扩 展 阅 读— 正在发生或即将发生的AI大模型应用
1.9K20编辑于 2023-09-06 - 来自专栏卓越笔记
软件质量模型的 6 大特性 27 个子特性
软件质量模型的 6 大特性 27 个子特性 一、功能性： 1、适合性：软件是否提供了相应的功能 2、准确性：软件提供的功能是否正确（用户需要的） 3、互操作性：产品与产品之间交互数据的能力
1.2K30编辑于 2023-02-18
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号