- 综合排序
- 最热优先
- 最新优先
- 来自专栏Soul Joy Hub
【大模型AIGC系列课程 3-2】国产开源大模型：ChatGLM
GLM https://arxiv.org/pdf/2103.10360.pdf GLM是General Language Model的缩写，是一种通用的语言模型预训练框架。 具体来说，GLM通过随机遮盖文本中连续的标记，并训练模型按顺序重新生成这些遮盖的部分。这种自回归的空白填充目标使得GLM能够更好地捕捉上下文中标记之间的依赖关系，并且能够处理可变长度的空白。 在生成过程中，模型可以根据之前生成的词片段和Part A中的上下文来预测下一个词片段。 d) 自注意力掩码：为了限制模型的注意力范围，
1K20编辑于 2023-08-28 Hollis【实战课程】大模型应用开发实战
大模型应用开发实战摘要大语言模型（LLM）正在重塑软件开发的方式。从智能客服到代码助手，从数据分析到内容创作，大模型应用已经渗透到各行各业。 本文将从实战角度出发，系统性地介绍大模型应用开发的核心技术、工具框架和最佳实践，帮助开发者快速上手并构建真实可用的大模型应用。 一、大模型应用开发全景1.1 什么是大模型应用开发大模型应用开发，是指基于大语言模型（如 GPT、Claude、文心一言等）构建面向具体场景的软件应用。 与传统软件开发不同，大模型应用的核心是"如何让模型理解需求、调用工具、生成有价值的内容"。大模型应用开发的典型特征包括：以 Prompt 为核心：应用的行为很大程度上由提示词（Prompt）决定。 -4o-mini），复杂问题用大模型。
1.1K10编辑于 2026-07-01- 来自专栏机器学习与统计学
开源，免费，大模型图文教程、视频课程
大家好，我是 Ai 学习的老章 大模型还是要学啊，太深了，学无止境 老章长期大量网上冲浪，推荐几个图文教程/视频课程 1 是优质，2 是免费 别看到英文就露怯，沉浸式翻译插件一键就 OK 了 LLM Inference Handbook[1] 《大语言模型推理手册》是一本集技术术语表、指南和参考资料于一身的手册，全面涵盖大语言模型推理相关知识。 课程从 AI 基础原理讲起，包括其定义、起源和大语言模型的兴起，后续进入实践教程，如构建聊天机器人、实现检索增强生成等，旨在帮助学员构建可扩展的实际 AI 应用。 这门由华盛顿大学助理教授、NexusFlow 联合创始人朱邦华讲授的“大语言模型（LLM）的后期训练”短期课程，旨在教授学员如何对大语言模型进行后期训练与定制。 书中通过逐步编写代码，由内而外深入讲解大语言模型的工作原理，指导读者创建自己的大语言模型，并以清晰的文字、图表和示例阐释每个阶段。
82510编辑于 2025-07-18 - 来自专栏技术趋势
windows10搭建llama大模型
背景 随着人工时代的到来及日渐成熟，大模型已慢慢普及，可以为开发与生活提供一定的帮助及提升工作及生产效率。所以在新的时代对于开发者来说需要主动拥抱变化，主动成长。 LLAMA介绍 llama全称：Large Language Model Meta AI是由meta（原facebook）开源的一个聊天对话大模型。 ~all~sobaiduend~default-1-106591160-null-null.142^v88^control,239^v2^insert_chatgpt&utm_term=windows10% Linux图： 下载羊驼模型（有点大） 先建一个文件夹：path_to_original_llama_root_dir 在里面再建一个7B文件夹并把tokenizer.model挪进来。 -f prompts/alpaca.txt -ins -c 2048 --temp 0.2 -n 256 --repeat_penalty 1.3 结果 最后 我知道很多同学可能觉得学习大模型需要懂
1.9K30编辑于 2023-09-12 - 来自专栏Michael阿明学习之路
AI大模型全栈工程师课程笔记 - LangChain
模型 IO 封装 pip install langchain # 0.0.350 模型封装 from langchain.llms import OpenAI # 设置环境变量 from dotenv user role SystemMessage #等价于OpenAI接口中的system role ) messages = [ SystemMessage(content="你是谷歌的大模型 非常欢迎你对AIGC课程感兴趣。AIGC课程是一门人工智能基础课程，旨在帮助学员掌握人工智能的基本概念、技术和应用。\n\n如果你想学习AIGC课程，我可以为你提供以下信息：\n1. 课程内容：AIGC课程包括人工智能基础知识、机器学习、深度学习、自然语言处理、计算机视觉等方面的内容。\n2. 学习方式：AIGC课程提供在线学习，你可以根据自己的时间和进度来学习课程内容。\n3. Action: Search Action Input: 张学友的生日 Observation: July 10, 1961 Thought:我现在知道张学友的生日是1961年7月10日。
2.3K10编辑于 2023-12-21 - 来自专栏Datawhale专栏
大模型理论基础(so-large-lm)课程笔记！
本前言介绍的课程笔记源自于“大模型理论基础（so-large-lm）”课程(https://github.com/datawhalechina/so-large-lm)，一个致力于探索和理解大型模型发展的前沿课程 一年前，该课程已经讲述了MOE和RAG架构的重要性，并在课程内容中对这两种架构进行了深入讲解。这不仅证明了学习大模型理论基础的重要性，也展示了课程内容的前瞻性和实用价值。 随着时间的推移，大模型的研究和应用领域继续迅速发展，促使我们对已有知识的理解进行更新和深化。因此，本课程笔记旨在开源学习的背景下，基于今年年初的学习成果，进一步讲解和深化对MOE和RAG内容的理解。 这份笔记不仅反映了当前大模型研究的最新动态，也体现了深入学习和掌握这些复杂架构的重要性。 通过本课程笔记，读者将能够获得对MOE和RAG架构更为深入的理解，掌握它们的设计原理、优势及应用场景。 我们希望这份笔记能够为广大学习者提供价值，促进对大模型理论基础知识的深入学习和应用，同时激发更多的创新和探索。
65810编辑于 2024-04-24 - 来自专栏最新最全的大数据技术体系
AI全栈大模型工程师(二)课程大纲
这节课会带给你 通俗了解大模型的工作原理，秒赢 99% 其他人的认知 了解指令工程的强大，不只是「说人话」那么简单 浅尝 OpenAI API 的调用 开始上课！ 1.2、大纲解读 模块 目的 原理 实践 认知 AI 大模型基础介绍 对大模型有直观的、基础的了解，以展开后续课程学习 大模型最基础的原理 搞定环境搭建和工具的使用 大模型并不神奇，也不神秘 Prompt Engineering 操纵大模型的基础方法 让 prompt 更大概率生效的原理 使用 prompt 和调用 OpenAI API 程序思维从确定性到模糊性的变化 Function Calling 开发应用 Prompt 和代码分离的思想 Fine-tuning 学会大模型应用技术的天花板 机器学习基础 训练出自己的独特大模型 大模型、GPU 选型 AI 产品设计 独立完成 AI 产品设计，成为 5.1、大语言模型（LLM）：GPT，Transformer 六、OpenAI API初探 6.1、安装Python库 pip install --upgrade openai 6.2、查看可调用的模型
3K53编辑于 2023-10-17 - 来自专栏喔家ArchiSelf
大模型应用设计的10个思考
技术不是万能的，但没有技术却可能是万万不能的，对于大模型可能也是如此。 基于大模型的应用设计需要聚焦于所解决的问题，在自然语言处理领域，大模型本身在一定程度上只是将各种NLP任务统一成了sequence 到 sequence 的模型。 利用大模型， 我们是在解决具体的生产和生活中的问题，产品和技术上的设计仍然不可或缺。 那么，如果大模型正在重新构建软件工程的未来，我们是否应该遵循一些基本原则呢？ 1. 再例如，“教一年的深度学习课程”这样的模式，它整合了丰富的教育资源，同样可以通过交互方式轻松调整，满足个性化的教学需求。 因此，只要我们对模型进行适当的控制和引导，它就能成为我们工作中得力的“助手”。而这种控制的基础，就是我们对模型内部机制和特点的深入了解和掌握。 10.
71010编辑于 2023-12-04 - 来自专栏喔家ArchiSelf
大模型应用的10个架构挑战
基于笔者近年来的探索与实践，这里列举了面向大模型应用系统架构设计的10个挑战。 1. 生产环境的挑战——推理框架的选择 对于大模型应用而言，生成环境的运行时是一个推理架构。 大模型应用需要一个针对产品级大型语言模型的高效管理系统。 尽管我们已经有了一些探索，例如《大模型应用的10个架构模式》(https://mp.weixin.qq.com/s? 适用性挑战——大模型的应用边界 大模型在人工智能领域确实展现出了强大的能力，它们在各种控制平面和应用场景中都发挥着重要作用。然而，尽管大模型的应用范围广泛，但并不意味着它们是无所不能的。 虽然大模型在人工智能领域具有广泛的应用前景，但并不是所有场景都适合使用大模型。在设计系统架构时，我们需要根据具体需求和技术挑战来判断是否需要引入大模型，以确保系统的高效性和可靠性。 10.
1.4K10编辑于 2024-12-24 - 来自专栏机器学习/数据可视化
机器学习分类模型10大评价指标
公众号：尤而小屋作者：Peter编辑：Peter大家好，我是Peter~机器学习分类模型的评价指标是在衡量模型在未知数据集上的性能表现，通常基于混淆矩阵和相关的评价指标。 样本的真实类别是负类，但模型将其识别为正类。True Negative（TN）：真负类。样本的真实类别是负类，并且模型将其识别为负类。 ，精确率越高，表示模型越好。 ，也就是说精确率是模型在某个类别上的判断。 下图是来自维基百科对ROC-AUC的解释：图片通过对分类阈值$\theta$（默认情况下是0.5，范围是0到1）从大到小或者从小到大排列，就可以得到多组TPR和FPR的取值，在二维坐标系中绘制出来就可以得到一条
1.8K10编辑于 2023-10-13 - 来自专栏大模型应用
大模型应用：大模型性能评估指标：CLUE任务与数据集详解.10
，应运而生，它就像一把精准的尺子，为中文大模型的性能评估提供了标准化方案。 同样，没有CLUE这样的基准，我们也难以比较不同大模型的优劣。CLUE不仅填补了中文自然语言处理评估的空白，更为模型研发提供了明确的方向指引。二. CLUE基准概述1. label] = metrics['f1-score'] if f1_scores: labels = list(f1_scores.keys())[:10 : 完整的评估流程8.2 完整的评估指标准确率、精确率、召回率、F1分数精确匹配率（阅读理解）NER任务的序列标注指标置信度分析七、总结 CLUE基准作为中文大模型评估的重要标准，不仅为技术发展提供了明确的导向 随着人工智能技术的不断演进，CLUE基准也将持续完善，更好地服务于大模型的研发和应用。 正如一句古语所说："工欲善其事，必先利其器。"CLUE基准就是我们评估和提升大模型能力的利器。
89132编辑于 2026-02-07 - 来自专栏Michael阿明学习之路
AI大模型全栈工程师课程笔记 - Semantic Kernel
函数嵌套调用 10. Memory 11. Planner 12. SK 调试插件 1. Semantic Kernel 大语言模型开发框架（SDK） 封装了一系列工具（提示词模板、链式调用、规划能力等），像调用函数一样 支持（C# Python Java）基于 OpenAI / Azure Skill/Plugin，需要有一个配置和管理的单元，这个组织管理单元就是 Kernel Kernel 负责管理底层接口与调用顺序，例如：OpenAI/Azure OpenAI 的授权信息、默认的 LLM 模型选择 语言无关 skFunction包含文件： skprompt.txt: 存放 prompt，可以包含参数，还可以调用其它函数 config.json: 存放配置，包括函数功能，参数的类型，以及调用大模型时的参数 = await kernel.run_async( skill["calc"], input_str="1024减去256等于多少" ) print(result) # 768.0 10
1.7K10编辑于 2023-12-18 - 来自专栏Michael阿明学习之路
AI大模型全栈工程师课程笔记 - Function Call
课程摘要 大模型，没有真逻辑，只是推测下一个字的概率 gpt 可以根据函数的描述来决定是否调用该函数，但是真正的执行，需要我们自行调用 2. 由大模型决定调用谁, seed=1024, tool_choice='auto', # response_format={'type': 'json_object 由大模型决定调用谁 "type": "function", "function": { "name": "sum", "description function_name, "content": str(function_response), } ) # 再次调用大模型 content": prompt} ] response = get_completion_with_tools(messages, tools) messages.append(response) # 把大模型的回复加入到对话中
1.7K20编辑于 2023-11-23 - 来自专栏Michael阿明学习之路
AI大模型全栈工程师课程笔记 -Assistant API
课程学习自 知乎知学堂 https://www.zhihu.com/education/learning 如果侵权，请联系删除，感谢！ 文章目录 1. 选择模型：gpt-3.5-turbo-1106 添加函数： { "name": "ask_database", "description": "Use this function to answer customer_id INT NOT NULL, -- 客户ID，不允许为空\n product_id INT NOT NULL, -- 产品ID，不允许为空\n price DECIMAL(10,2
1K10编辑于 2023-12-10 - 来自专栏喔家ArchiSelf
大模型应用的10种架构模式
作为一位老码农，我在这里整理总结了一些针对大模型应用的设计方法和架构模式，试图应对和解决大模型应用实现中的一些挑战，如成本问题、延迟问题以及生成的不准确性等。 2.大模型代理模式 想象一个生态系统，其中多个专门针对特定任务的生成式AI模型各自作为其领域内的专家，并行工作以处理查询。 10. 双重安全模式 围绕大型语言模型（LLM）的核心安全性至少包含两个关键组件：一是用户组件，我们将其称为用户Proxy代理；二是防火墙，它为模型提供了保护层。 随着我们们继续探索和创新，还会涌现出很多新的架构模式，而且这里的10个架构模式以及新涌现的架构模式可能成为人工智能服务的表现形态。 我希望能够持续更新本系列，也希望对此有兴趣的朋友联系我， 共同研究探索，致力于大模型应用的架构模式。
5.7K11编辑于 2024-04-03 - 来自专栏对白的算法屋
AI 大模型创业的 10 个灵魂拷问
下面就这 10 个灵魂拷问，分享一些我自己的观点。 做不做基础大模型？ 如果做基础大模型，需要上亿美金的前期投入，如何融到这么多资，如何招到靠谱的算法、数据和 infra 团队？ 但这样的模型推理成本会很高，就像现在 GPT-4 读一篇论文要 10 美金，只有高净值客户和探索科学前沿的场景才消费得起。 推理性能优化的空间更大，因为 Transformer 的结构，很多场景下有效算力只有 10%~20%。如果做 batching，时延和带宽又会成为 trade-off。 我认为，大模型本身的智商固然重要，大模型与外部环境交互的能力和大模型之间协作的组织结构才能让大模型走得更远。 第一，如果读一篇论文还是像 GPT-4 那样需要 10 美金，生成一段 7.5 分钟的视频还是像 Runway ML 一样需要 95 美金，大多数人就不可能用得起大模型。
84730编辑于 2023-09-01 - 来自专栏深度学习与python
大模型应用的 10 种架构模式
作为一位老码农，我在这里整理总结了一些针对大模型应用的设计方法和架构模式，试图应对和解决大模型应用实现中的一些挑战，如成本问题、延迟问题以及生成的不准确性等。 1. 大模型代理模式 想象一个生态系统，其中多个专门针对特定任务的生成式 AI 模型各自作为其领域内的专家，并行工作以处理查询。 通过将大模型与基于规则的逻辑结合，我们能够融合结构化的精确性，旨在创造出既富有创意又遵循规范的解决方案。 10. 双重安全模式 围绕大型语言模型（LLM）的核心安全性至少包含两个关键组件：一是用户组件，我们将其称为用户 Proxy 代理；二是防火墙，它为模型提供了保护层。 没有结束 老码农认为，这些大模型应用的架构模式不仅仅是一种范式，很可能成为未来智能系统赖以成长的框架。
1K10编辑于 2024-04-12 - 来自专栏TechLead
大模型应用曙光 - 10X压缩技术
拥有10+年AI领域研究经验、复旦机器人智能实验室成员，国家级大学生赛事评审专家，发表多篇SCI核心期刊学术论文，上亿营收AI产品研发负责人。 如何在不牺牲性能的情况下将大语言模型缩小十倍？ 不用说，大多数消费设备（如手机、平板电脑、笔记本电脑）无法处理如此庞大的模型。但……如果我们可以让模型变小呢？ 模型压缩 模型压缩旨在在不牺牲性能的前提下减少机器学习模型的大小。 量化——使用更低精度的数据类型表示模型 剪枝——从模型中删除不必要的组件 知识蒸馏——通过较大的模型训练较小的模型 _注意_：这些方法是相互独立的。 知识蒸馏 知识蒸馏是将知识从一个（较大的）教师模型传递到一个（较小的）学生模型。一种方法是通过教师模型生成预测，并使用这些预测来训练学生模型。 令人惊讶的是，训练结束时，学生模型在所有评估指标上都超过了教师模型！ 接下来，我们可以在独立的验证集上评估模型，即未用于训练模型参数或调整超参数的数据。
67210编辑于 2024-09-24 - 来自专栏喔家ArchiSelf
大模型应用的10种攻击方式
我们将探索的每种技术都揭示了这些模型如何思考和推理的迷人之处。我特别高兴能够分享这些见解，因为它们不仅帮助我们理解如何打破这些系统，而且帮助我们理解如何更好地构建大模型应用系统。 1. 对于使用不太广泛或缺乏强大保护措施的微调模型来说尤其如此。 影响的严重性和本质可能会有很大的不同，并且很大程度上取决于模型操作的业务上下文和模型架构的代理。 明显的无意义字符创建了一种标记混乱的形式，混淆了模型的安全层，同时保持了核心请求的完整性。 目前，这种技术对于顶层模型只是部分有效。 对于那些尚未针对提示词提取尝试进行特别强化的模型，这种技术已被证明特别有效。 10. 多智能体妥协攻击 多智能体妥协攻击利用人工智能系统的协作特性，通过它们的交互机制传播妥协行为。 虽然并非所有这些技术都在 OWASP 的 10 大 LLM 应用程序漏洞中被明确归类，但是许多技术都属于其更广泛的类别： 提示注入、数据中毒和系统提示泄漏。
41010编辑于 2026-06-15 - 来自专栏腾讯开源的专栏
「腾讯混元大模型应用实战课程」上线国家智慧教育平台
由腾讯打造的“腾讯混元大模型应用实战课程”，已正式上线国家智慧教育平台，为全国高校师生带来覆盖大模型技术通识到AI工具实用技能的系列课程，助力高校师生规范、高效使用大模型，加速教育教学及科研创新。 课程入口 https://higher.smartedu.cn/course/lmc/67de729c2f4f1bef26a8089f 国家智慧教育平台建成三年来，已经成为世界上资源最丰富、用户最多、规模最大的智慧教育平台 在教育部高等教育司邀请下，腾讯结合自身大模型技术优势与全栈AI产品，从高校师生日常使用场景出发，设计制作了“腾讯混元大模型应用实战课”，上线国家智慧教育平台“人工智能教学服务开放应用专区”，和“高校学生就业能力提升 该课程聚焦多模态生成、逻辑推理等核心功能，设计智慧教学、科研辅助、学科融合等应用场景案例，通过技术原理解析、案例实操演练，助力师生利用大模型进行教学教研及学术创新。 今年以来，腾讯混元大模型持续快速迭代，推出了深度思考模型混元T1和快思考模型混元Turbo S，并已广泛应用于腾讯元宝、ima、腾讯元器、腾讯文档、微信读书、搜狗输入法、QQ浏览器等多款内部产品。
1.6K10编辑于 2025-04-04
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号