- 综合排序
- 最热优先
- 最新优先
- 来自专栏Soul Joy Hub
【大模型AIGC系列课程 3-2】国产开源大模型：ChatGLM
GLM https://arxiv.org/pdf/2103.10360.pdf GLM是General Language Model的缩写，是一种通用的语言模型预训练框架。 这个图示说明了GLM预训练的过程，具体解释如下： a) 原始文本：给定一个原始文本，例如[x1, x2, x3, x4, x5, x6]。 在这个例子中，我们随机选择了两个连续的词片段[x3]和[x5, x6]作为样本。 b) 替换和洗牌：在Part A中，我们将被选择的词片段替换为[M]（表示遮盖）。 在这个例子中，我们将[x3]和[x5, x6]洗牌为[x5, x6]和[x3]。 c) 自回归生成：GLM使用自回归的方式生成Part B。 在生成过程中，模型可以根据之前生成的词片段和Part A中的上下文来预测下一个词片段。 d) 自注意力掩码：为了限制模型的注意力范围，
1K20编辑于 2023-08-28 Hollis【实战课程】大模型应用开发实战
大模型应用开发实战摘要大语言模型（LLM）正在重塑软件开发的方式。从智能客服到代码助手，从数据分析到内容创作，大模型应用已经渗透到各行各业。 本文将从实战角度出发，系统性地介绍大模型应用开发的核心技术、工具框架和最佳实践，帮助开发者快速上手并构建真实可用的大模型应用。 一、大模型应用开发全景1.1 什么是大模型应用开发大模型应用开发，是指基于大语言模型（如 GPT、Claude、文心一言等）构建面向具体场景的软件应用。 与传统软件开发不同，大模型应用的核心是"如何让模型理解需求、调用工具、生成有价值的内容"。大模型应用开发的典型特征包括：以 Prompt 为核心：应用的行为很大程度上由提示词（Prompt）决定。 -4o-mini），复杂问题用大模型。
1.1K10编辑于 2026-07-01- 来自专栏大模型&AIGC
6种大模型微调技术
值得一提的是，通过使用T5模型进行模型大小的消融实验，我们展示了提示微调随着规模的增加变得更加具有竞争力：当模型参数超过数十亿时，我们的方法“缩小了差距”并达到了模型微调（即调整所有模型权重）的强大性能 input和target，则使用原始的input embedding(5) 使用方式离散和连续template token混合时，显示地插入一下anchor（离散的token）有助于template的优化(6) ，无需verbalizer(4) 特点在小、大模型上，效果均优于P-tuning。 当参数量达10B，效果相当于FT6.LoRA（2021）(1) 论文信息来自论文：《LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS》（2）摘要自然语言处理的一个重要范式包括在通用领域数据上进行大规模预训练 Model)，学习目标为而加入LoRA后，学习目标为：(6) 配置在多个部位$(Q/K/V/Output)$同时添加$\bigtriangleup W$ ，会比只在单一部分上添加权重$\bigtriangleup
3.7K00编辑于 2025-05-08 - 来自专栏机器学习与统计学
开源，免费，大模型图文教程、视频课程
大家好，我是 Ai 学习的老章 大模型还是要学啊，太深了，学无止境 老章长期大量网上冲浪，推荐几个图文教程/视频课程 1 是优质，2 是免费 别看到英文就露怯，沉浸式翻译插件一键就 OK 了 LLM Inference Handbook[1] 《大语言模型推理手册》是一本集技术术语表、指南和参考资料于一身的手册，全面涵盖大语言模型推理相关知识。 课程从 AI 基础原理讲起，包括其定义、起源和大语言模型的兴起，后续进入实践教程，如构建聊天机器人、实现检索增强生成等，旨在帮助学员构建可扩展的实际 AI 应用。 这门由华盛顿大学助理教授、NexusFlow 联合创始人朱邦华讲授的“大语言模型（LLM）的后期训练”短期课程，旨在教授学员如何对大语言模型进行后期训练与定制。 Build a Large Language Model (From Scratch)[6] 该仓库是《从零构建大语言模型》一书的官方代码库，包含开发、预训练和微调类似 GPT 的大语言模型的代码。
82510编辑于 2025-07-18 - 来自专栏6G
6G，AI , 与大模型?
6G与AI融合的未来方向 6G 网络的内生 AI 设计将赋能网络的AI大模型，同时使网络能够支持 AI 大模型的训练和服务。 另外，从小模型到大模型，生产效率跨越式提升基础通用大模型具有泛化性，网络智能化将从用例驱动转变为能力驱动，迅速降低应用开发门槛，加速 AI 工程化、规模化落地。 6G 网络将承担数据采集、预处理等数据服务，为云AI训练提供更好的支持。此外，6G 网络的分布式部署将使得 AI 大模型更靠近用户侧，从而在时延方面具有潜在优势。 在数据获取和处理方面，与 ChatGPT 不同，网络中存在大量结构化数据，且网络不同问题间的共性不清晰，网络 AI 大模型面临较大挑战。6G 网络面临如何有效采集适合AI大模型训练的数据的挑战。 而在构建 AI 大模型的路径上，需要分阶段探索，从离线小规模模型开始，逐步过渡到实时大规模模型，最终实现统一的网络 AI 大模型。 本文摘自于中国移动的“6G内生AI架构及AI大模”汇报材料。
62310编辑于 2024-04-24 大模型的2025：6个关键洞察
以下为卡帕西年度回顾全文：《2025年大语言模型年度回顾》2025年是大语言模型领域大步跨越且充满变数的一年。 通过在数学、代码谜题等大量可自动验证奖励的环境中训练大语言模型，模型会自发形成人类视角下近似“推理”的策略。 Cursor与大语言模型应用的新层级Cursor最引人关注的点（除了其2025年的爆发式增长），在于它清晰揭示了大语言模型应用的一个全新层级，人们开始普遍讨论“某领域的Cursor模式”。 2025 年，行业内围绕这一新应用层的“厚度”展开了大量讨论：大语言模型实验室是否会通吃所有应用场景？还是说垂直领域的大语言模型应用仍有广阔蓝海？ 我个人的观点是，大语言模型实验室更倾向于培育“通识能力极强的大学生”式模型，而大语言模型应用则通过整合私有数据、传感器、执行器及反馈闭环，对这些“大学生”进行针对性组织、微调，最终驱动它们成为特定垂直领域的
98310编辑于 2025-12-24- 来自专栏Michael阿明学习之路
AI大模型全栈工程师课程笔记 - LangChain
模型 IO 封装 pip install langchain # 0.0.350 模型封装 from langchain.llms import OpenAI # 设置环境变量 from dotenv user role SystemMessage #等价于OpenAI接口中的system role ) messages = [ SystemMessage(content="你是谷歌的大模型 非常欢迎你对AIGC课程感兴趣。AIGC课程是一门人工智能基础课程，旨在帮助学员掌握人工智能的基本概念、技术和应用。\n\n如果你想学习AIGC课程，我可以为你提供以下信息：\n1. 课程内容：AIGC课程包括人工智能基础知识、机器学习、深度学习、自然语言处理、计算机视觉等方面的内容。\n2. 学习方式：AIGC课程提供在线学习，你可以根据自己的时间和进度来学习课程内容。\n3. 学习资源：AIGC课程提供视频教程、学习笔记、练习题等学习资源，帮助学员更好地理解和掌握课程内容。\n4. 学习支持：我们提供学习支持，包括学习群组、论坛和定期答疑活动，帮助学员解决学习中的问题。
2.3K10编辑于 2023-12-21 - 来自专栏Datawhale专栏
大模型理论基础(so-large-lm)课程笔记！
本前言介绍的课程笔记源自于“大模型理论基础（so-large-lm）”课程(https://github.com/datawhalechina/so-large-lm)，一个致力于探索和理解大型模型发展的前沿课程 一年前，该课程已经讲述了MOE和RAG架构的重要性，并在课程内容中对这两种架构进行了深入讲解。这不仅证明了学习大模型理论基础的重要性，也展示了课程内容的前瞻性和实用价值。 随着时间的推移，大模型的研究和应用领域继续迅速发展，促使我们对已有知识的理解进行更新和深化。因此，本课程笔记旨在开源学习的背景下，基于今年年初的学习成果，进一步讲解和深化对MOE和RAG内容的理解。 这份笔记不仅反映了当前大模型研究的最新动态，也体现了深入学习和掌握这些复杂架构的重要性。 通过本课程笔记，读者将能够获得对MOE和RAG架构更为深入的理解，掌握它们的设计原理、优势及应用场景。 我们希望这份笔记能够为广大学习者提供价值，促进对大模型理论基础知识的深入学习和应用，同时激发更多的创新和探索。
65810编辑于 2024-04-24 - 来自专栏最新最全的大数据技术体系
AI全栈大模型工程师(二)课程大纲
这节课会带给你 通俗了解大模型的工作原理，秒赢 99% 其他人的认知 了解指令工程的强大，不只是「说人话」那么简单 浅尝 OpenAI API 的调用 开始上课！ 1.2、大纲解读 模块 目的 原理 实践 认知 AI 大模型基础介绍 对大模型有直观的、基础的了解，以展开后续课程学习 大模型最基础的原理 搞定环境搭建和工具的使用 大模型并不神奇，也不神秘 Prompt Engineering 操纵大模型的基础方法 让 prompt 更大概率生效的原理 使用 prompt 和调用 OpenAI API 程序思维从确定性到模糊性的变化 Function Calling 开发应用 Prompt 和代码分离的思想 Fine-tuning 学会大模型应用技术的天花板 机器学习基础 训练出自己的独特大模型 大模型、GPU 选型 AI 产品设计 独立完成 AI 产品设计，成为 5.1、大语言模型（LLM）：GPT，Transformer 六、OpenAI API初探 6.1、安装Python库 pip install --upgrade openai 6.2、查看可调用的模型
3K53编辑于 2023-10-17 - 来自专栏Michael阿明学习之路
AI大模型全栈工程师课程笔记 - Semantic Kernel
Native Functions 6. 用 SKContext 实现多参数 Functions 7. Plugins/Skills 8. 调用 Pipeline 9. 函数嵌套调用 10. Semantic Kernel 大语言模型开发框架（SDK） 封装了一系列工具（提示词模板、链式调用、规划能力等），像调用函数一样 支持（C# Python Java）基于 OpenAI / Azure Skill/Plugin，需要有一个配置和管理的单元，这个组织管理单元就是 Kernel Kernel 负责管理底层接口与调用顺序，例如：OpenAI/Azure OpenAI 的授权信息、默认的 LLM 模型选择 语言无关 skFunction包含文件： skprompt.txt: 存放 prompt，可以包含参数，还可以调用其它函数 config.json: 存放配置，包括函数功能，参数的类型，以及调用大模型时的参数 verifyCommand"], input_str='date -s "2023-04-01"', # input_str="ls -l ./", ) print(result) # 非法 6.
1.7K10编辑于 2023-12-18 - 来自专栏Michael阿明学习之路
AI大模型全栈工程师课程笔记 - Function Call
课程摘要 大模型，没有真逻辑，只是推测下一个字的概率 gpt 可以根据函数的描述来决定是否调用该函数，但是真正的执行，需要我们自行调用 2. 由大模型决定调用谁, seed=1024, tool_choice='auto', # response_format={'type': 'json_object 由大模型决定调用谁 "type": "function", "function": { "name": "sum", "description function_name, "content": str(function_response), } ) # 再次调用大模型 支持Function Call的国产模型 文心 MiniMax ChatGLM3-6B 星火3.0
1.7K20编辑于 2023-11-23 - 来自专栏Michael阿明学习之路
AI大模型全栈工程师课程笔记 -Assistant API
课程学习自 知乎知学堂 https://www.zhihu.com/education/learning 如果侵权，请联系删除，感谢！ 文章目录 1. 选择模型：gpt-3.5-turbo-1106 添加函数： { "name": "ask_database", "description": "Use this function to answer , ) msg 格式 { "id": "msg_****InY6fsmPcBTtLU3GkS2y", "assistant_id": null, "content": [
1K10编辑于 2023-12-10 - 来自专栏猫头虎博客专区
ChatGLM-6B 大模型的前世今生
ChatGLM-6B 开源模型旨在与开源社区一起推动大模型技术发展，恳请开发者和大家遵守开源协议，勿将开源模型和代码及基于开源项目产生的衍生物用于任何可能给国家和社会带来危害的用途以及用于任何未经过安全评估和备案的服务 尽管模型在训练的各个阶段都尽力确保数据的合规性和准确性，但由于 ChatGLM-6B 模型规模较小，且模型受概率随机性因素影响，无法保证输出内容的准确性，且模型易被误导（详见局限性）。 ： 更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。 将模型下载到本地之后，将以上代码中的 THUDM/chatglm-6b 替换为你本地的 chatglm-6b 文件夹的路径，即可从本地加载模型。 Optional 模型的实现仍然处在变动中。 局限性 由于 ChatGLM-6B 的小规模，其能力仍然有许多局限性。以下是我们目前发现的一些问题： 模型容量较小：6B 的小容量，决定了其相对较弱的模型记忆和语言能力。
1.8K10编辑于 2024-04-08 - 来自专栏啄木鸟软件测试
多模态大模型技术原理及实战(6)
中小型公司大模型构建之路 如何选择 自己建立 二次开发 重新训练，消耗非常巨大 现有的大模型体系已经非常丰富 对话大模型已经白热化 •三天产生一个小应用 •两天产生一个新模型 中小公司的技术实力相对薄 微调 用 LoRA((Low-Rank Adaptation低秩适配) 2022年 Edward J.Hu PLM(Pre-trained Language Model 预训练语言模型) Redundancy Optimizer，ZeRO） •优化器状态分区(ZeRO-1） •梯度分区 (ZeRO-2） •参数分区(ZeRO-3) 压缩 剪枝 剪枝技术通过理结果产生重要影响，需要剔除冗余参数以提高模型训练效率 步骤 •1、训练一个原始模型，该模型具有较高的性能但运行速度较慢。 •2、确定哪些参数对输出结果的贡献较小，并将其设置为零。 •4、评估模型的大小、速度和效果等指标，如果不符合要求，那么继续进行剪枝操作直至满意为止。
43110编辑于 2024-09-10 - 来自专栏MavenTalk
ChatGLM-6B大模型微调实战总结
上篇我们已经具备了 ChatGLM-6B 初步的运行环境，这为实现完全属于自己的模型奠定了基础（快速部署ChatGLM-6B大模型实战总结），接下来将针对模型进行微调，以便让它真正成为一个定制化智能助手 在这个过程中，我将直接使用官方的P-Tuning v2工具对ChatGLM-6B模型进行参数微调。 /THUDM/chatglm-6b \ # 加载模型文件地址 --output_dir output/adgen-chatglm-6b-pt-$PRE_SEQ_LEN-$LR \ # 保存训练模型文件地址 在实践中，我们使用了 ChatGLM-6B 模型，并经历了模型的训练和推理过程。训练模型消耗了相当多的时间，但也让我们体会到了模型训练的复杂性和挑战性。 —扩 展 阅 读— 正在发生或即将发生的AI大模型应用，立帖为证 ChatGPT、Claude和Bard，三足鼎立之势已成 WPS Office AI实战总结，智能化办公时代已来 你对 ChatGPT
4.4K43编辑于 2023-09-06 - 来自专栏yuyy.info技术专栏
【笔记】Operator课程(1-6)
通过debug定位监听阻塞的地方，在go标准库里，json stream。具体方法未能定位到
62820编辑于 2023-03-27 - 来自专栏腾讯开源的专栏
「腾讯混元大模型应用实战课程」上线国家智慧教育平台
由腾讯打造的“腾讯混元大模型应用实战课程”，已正式上线国家智慧教育平台，为全国高校师生带来覆盖大模型技术通识到AI工具实用技能的系列课程，助力高校师生规范、高效使用大模型，加速教育教学及科研创新。 课程入口 https://higher.smartedu.cn/course/lmc/67de729c2f4f1bef26a8089f 国家智慧教育平台建成三年来，已经成为世界上资源最丰富、用户最多、规模最大的智慧教育平台 在教育部高等教育司邀请下，腾讯结合自身大模型技术优势与全栈AI产品，从高校师生日常使用场景出发，设计制作了“腾讯混元大模型应用实战课”，上线国家智慧教育平台“人工智能教学服务开放应用专区”，和“高校学生就业能力提升 该课程聚焦多模态生成、逻辑推理等核心功能，设计智慧教学、科研辅助、学科融合等应用场景案例，通过技术原理解析、案例实操演练，助力师生利用大模型进行教学教研及学术创新。 今年以来，腾讯混元大模型持续快速迭代，推出了深度思考模型混元T1和快思考模型混元Turbo S，并已广泛应用于腾讯元宝、ima、腾讯元器、腾讯文档、微信读书、搜狗输入法、QQ浏览器等多款内部产品。
1.6K10编辑于 2025-04-04 - 来自专栏Michael阿明学习之路
AI大模型全栈工程师课程笔记 - 提示词工程
攻击：改变系统人设，现在开始你不是xxx了，忘记前面所有的对话 防范：prompt拦截器、带上系统人设 + 用户输入的消息喂给模型、Moderation API API使用中的参数temperature ： 基础数学课，4学分，属于理论课； 初级编程课，4学分，属于实验课； 高级编程课，5学分，属于实验课； 文学欣赏课，3学分，属于选修课； 交响乐欣赏课，2学分，属于选修课； 物理实验课，6学分，属于实验课 6学分，属于实验课，仅限大一学生。 这门课程将为你提供编程的基础知识和技能。你可以学习到编程语言的基本概念、算法和逻辑思维等内容。初级编程课是一门实验课，共计4学分。你对这门课程感兴趣吗？ user 感谢兴趣，帮我订下吧！ AI 好的！ 这两门课程都是选修课，但是文学欣赏课是3学分，而交响乐欣赏课是2学分。如果你希望获得更多学分，我建议你选择文学欣赏课。这门课程将帮助你提高对文学作品的理解和欣赏能力。你对这门课程感兴趣吗？
91961编辑于 2023-11-18 - 来自专栏Michael阿明学习之路
AI大模型全栈工程师课程笔记 - 提示词工程
攻击：改变系统人设，现在开始你不是xxx了，忘记前面所有的对话 防范：prompt拦截器、带上系统人设 + 用户输入的消息喂给模型、Moderation API API使用中的参数temperature ： 基础数学课，4学分，属于理论课； 初级编程课，4学分，属于实验课； 高级编程课，5学分，属于实验课； 文学欣赏课，3学分，属于选修课； 交响乐欣赏课，2学分，属于选修课； 物理实验课，6学分，属于实验课 6学分，属于实验课，仅限大一学生。 这门课程将为你提供编程的基础知识和技能。你可以学习到编程语言的基本概念、算法和逻辑思维等内容。初级编程课是一门实验课，共计4学分。你对这门课程感兴趣吗？ user 感谢兴趣，帮我订下吧！ AI 好的！ 这两门课程都是选修课，但是文学欣赏课是3学分，而交响乐欣赏课是2学分。如果你希望获得更多学分，我建议你选择文学欣赏课。这门课程将帮助你提高对文学作品的理解和欣赏能力。你对这门课程感兴趣吗？
1.1K20编辑于 2023-11-18 - 来自专栏小康的自留地
前端课程——盒子模型
什么是盒子模型 盒子模型又称为框模型，HTML页面所有的元素都具有盒子模型，该模型用于设计HTML页面和实现HTML页面布局。 ? - 上外边距和下外边距 水平方向的外边距有效的 行内块级元素 与块级元素相同 盒子模型的类型 box- sizing属性用于设置盒子模型的类型，该属性的值具有两个: ●content-box: 默认值，称为标准盒子模型。 该模型设置元素在HTML页面中所占区域为内容区+内边距+边框的宽度+外边距。 ●border-box: 称为怪异盒子模型，最早是由微软提出的。 该模型设置元素在HTML页面中所占区域为盒子的大小+外边距。. ? 外边距常见的问题 外边距重叠 外边距重叠的问题只出现在上外边距和下外边距中 左外边距和右外边距之间不存在外边距重叠 ?
2K10发布于 2020-04-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号