- 综合排序
- 最热优先
- 最新优先
- 来自专栏流川疯编写程序的艺术
《书生·浦语大模型实战营》第7课 学习笔记：OpenCompass 大模型评测实战
评测对象 本算法库的主要评测对象为语言大模型与多模态大模型。我们以语言大模型为例介绍评测的具体模型类型。 C-Eval 数据集上的性能 其他学习内容 参考文献 本人学习系列笔记 《书生·浦语大模型实战营》第1课 学习笔记：书生·浦语大模型全链路开源体系 《书生·浦语大模型实战营》第2课 学习笔记：轻松玩转书生 ·浦语大模型趣味 Demo 《书生·浦语大模型实战营》第3课 学习笔记：搭建你的 RAG 智能助理(茴香豆) 《书生·浦语大模型实战营》第4课 学习笔记：XTuner 微调 LLM:1.8B、多模态、Agent 《书生·浦语大模型实战营》第5课 学习笔记：LMDeploy 量化部署 LLM 实践 《书生·浦语大模型实战营》第6课 学习笔记：Lagent & AgentLego 智能体应用搭建 《书生·浦语大模型实战营 》第7课 学习笔记：OpenCompass 大模型评测实战 课程资源 学员手册 https://aicarrier.feishu.cn/wiki/KamPwGy0SiArQbklScZcSpVNnTb
1K10编辑于 2024-07-01 - 来自专栏博文视点Broadview
7大特征交互模型，最好的深度学习推荐算法总结
随着深度学习技术的快速发展，自动特征交互方式也迎来了新的思路。 01 AFM 模型 因子分解机（Factorization Machine，FM）模型的特点是考虑了所有可能的二阶特征组合。 PNN 模型结构图 03 Wide & Deep 模型 Wide & Deep 模型是谷歌公司于2016 年推出的结合深度学习的推荐模型，一经问世便广受好评，目前也成了工业界主流的推荐模型之一。 04 DeepFM 模型 在Wide & Deep 模型的深度模块中，DNN 模块可以自动学习特征之间的高阶交互关系。然而，它并不能保证学习到良好的低阶特征交互。 为了弥补现有的模型要么太偏向于学习高阶特征交互，要么太偏向于学习线性特征，或者依赖于人工经验来提取低阶特征交互的缺点。 07 AutoInt 模型 随着Transformer 模型在自然语言处理任务上的成功应用，学者们也逐渐探索Transformer 的结构如何应用在学习特征交互上。
3K10编辑于 2022-08-26 - 来自专栏司钰秘籍
AI大模型学习
在当前技术环境下，AI大模型学习不仅要求研究者具备深厚的数学基础和编程能力，还需要对特定领域的业务场景有深入的了解。 通过不断优化模型结构和算法，AI大模型学习能够不断提升模型的准确性和效率，为人类生活和工作带来更多便利。 AI大模型学习的理论基础 数学基础： 线性代数：AI 大模型中大量使用向量和矩阵运算，如矩阵乘法、向量点积等，用于表示和操作数据。 7. 早停法：根据验证集上的性能，在合适的时候停止训练，避免过拟合。 8. 迁移学习：利用已有的预训练模型，在新的任务上进行微调，加快训练过程。 9. 此外，模型的性能也受到计算资源、数据质量和算法优化等因素的影响 AI大模型学习的伦理与社会影响 AI 大模型学习确实带来了一些伦理和社会问题，我们需要认真对待： 1.
83810编辑于 2024-04-04 - 来自专栏人工智能领域
AI大模型学习
AI大模型学习 在当前技术环境下，AI大模型学习不仅要求研究者具备深厚的数学基础和编程能力，还需要对特定领域的业务场景有深入的了解。 方向一：AI大模型学习的理论基础 AI 大模型学习的理论基础涉及深度学习、神经网络、优化算法等多个方面。 以下是一些关于 AI 大模型学习理论基础的重要内容： 深度学习：深度学习是 AI 大模型学习的核心理论基础，它通过构建多层神经网络来实现对复杂数据模式的学习和表征。 ———————————————— 方向二：AI大模型的训练与优化 AI 大模型学习的理论基础涉及深度学习、神经网络、优化算法等多个方面。 以下是一些关于 AI 大模型学习理论基础的重要内容： 深度学习：深度学习是 AI 大模型学习的核心理论基础，它通过构建多层神经网络来实现对复杂数据模式的学习和表征。
85310编辑于 2024-12-18 - 来自专栏数据派THU
详解：7大经典回归模型
来源：csdn 深度学习爱好者本文约2900字，建议阅读5分钟本文给大家介绍机器学习建模中7大经典的回归分析模型。 什么是回归分析？ 线性回归通常是人们在学习预测模型时首选的技术之一。在这种技术中，因变量是连续的，自变量可以是连续的也可以是离散的，回归线的性质是线性的。 4.它需要大的样本量，因为在样本数量较少的情况下，极大似然估计的效果比普通的最小二乘法差。 5.自变量不应该相互关联的，即不具有多重共线性。 7.如果因变量是多类的话，则称它为多元逻辑回归。 3. Polynomial Regression多项式回归 对于一个回归方程，如果自变量的指数大于1，那么它就是多项式回归方程。 除了这7个最常用的回归技术，你也可以看看其他模型，如Bayesian、Ecological和Robust回归。 如何正确选择回归模型？ 当你只知道一个或两个技术时，生活往往很简单。
2K41编辑于 2023-04-18 - 来自专栏大模型成长之路
【大模型学习 | BLIP原理】
一、预训练方法 1.1 图像文本模型 图像特征提取模型：VIT 文本特征提取模型：Unimodal encoder; Image-grounded text encoder; Image-grounded 这是因为生成任务要求模型按序预测每一个词，不能访问未来的信息。Causal attention 能保证自回归生成的正确性，使模型适合用作 decoder，实现图像到文本的自然语言生成。 对齐图像与文本的全局语义空间 让正样本图文对更接近，负样本更远 Image-Text Matching Loss Image-grounded text encoder 学习图文细粒度语义对齐 text decoder 图像到文本的语言生成能力 使用自回归预测生成 caption，优化交叉熵 Image-Text Contrastive Loss (ITC): InfoNCE（对比学习 最后组成一个新的数据集预训练模型。
1.2K10编辑于 2025-07-01 - 来自专栏大模型成长之路
【大模型学习 | RAG & ReAct】
进阶prompting 基础的prompting技术中，都是通过样例提示，激活模型本身的推理功能，但在现实的情况中，依然存在着仅仅依靠模型本身的知识是无法解决的，例如：① 数据库知识不足 ② 模型能力缺乏等 这种方式有效弥补了大模型记忆局限、提升了知识覆盖广度与事实准确性。 它允许大模型在推理过程中“边思考（Reason），边行动（Act）”，即模型可以根据问题内容主动决定是否调用某个工具、调用哪个工具，并基于工具返回的结果进一步推理和生成回答。 与其他 Agent 类方法类似，ReAct 也需要通过 Few-shot 样例 进行提示设计，帮助模型学习在何种情况下调用工具，以及如何将工具的反馈信息融入最终答案中。 /deepseek-llm-7b-chat"tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code
1.9K30编辑于 2025-07-17 - 来自专栏大模型成长之路
【大模型学习 | LLaMA Serious】
一、LLaMA V1这篇文章主要是引出大模型的表现力并不是在模型的大小，而是训练数据的样本。之前的做法是尽可能的减少模型大小，但是这些方法忽略了推理代价。 在 PaLM、LLaMA、DeepSeek 等大模型上被广泛使用，带来精度提升。 其中， W,V 是可学习的权重矩阵b,c 是偏置项3️⃣ 位置编码采用了旋转位置编码：RoPE（Rotary Positional Embedding）RoPE 是一种通过“旋转”的方式，将相对位置信息引入注意力机制中的位置编码方法 图片4️⃣ Causal multi-head attention LLaMA是 only-decoder结构的模型，属于自回归语言模型（类似GPT）。 0, 0, -inf, -inf], [0, 0, 0, 0, -inf], [0, 0, 0, 0, 0]]二、LLaMA V2大部分的预训练设置都与
61730编辑于 2025-07-25 - 来自专栏学习
【机器学习】---大语言模型
这些模型，犹如现代科技的语言魔法师，通过海量数据和尖端的深度学习技术训练而成，在自然语言的理解与生成上展现了无与伦比的能力。 第一部分：什么是大语言模型？ 1. 走近大语言模型 大语言模型并非传统意义上的“语言学家”，而是通过深度学习技术训练的大规模神经网络，其核心目标是理解、生成并操控自然语言。 这些模型的强大之处在于，它们能够从海量的训练数据中学习语言的结构和语义关系，从而以极高的准确度生成自然语言文本。 它们的核心技术依赖于一种名为Transformer的模型架构。 模型训练的核心要素 要构建一个大语言模型，仅依赖强大的算法是不够的。以下是训练过程中不可或缺的三个关键要素： 海量语料库 模型需要从海量数据中学习语言的多样性和复杂性。 优化算法 如 AdamW，这是一种适合深度学习的优化算法，可以显著提高训练效率。 强大计算资源 通常需要数百甚至数千块 GPU 或 TPU 才能完成大规模模型的训练。
82810编辑于 2025-01-13 大模型和机器学习
“学习大模型之前，要不要先学机器学习？” 这些问题的本质，是对两个概念的边界认知模糊。事实上，大模型是机器学习的一个子集，是机器学习技术在“大参数、大数据、大算力”时代的进化形态。 3.2 大模型的三大核心要素 大模型的“大”，体现在三个方面，这也是大模型与传统机器学习模型的根本区别之一。 4.7 维度7：应用场景——从垂直领域到通用场景 两者的应用场景差异，是由其能力特点决定的。 6.1 大模型依赖传统机器学习的理论基础 大模型的核心技术，如梯度下降、反向传播、损失函数等，都来源于传统机器学习。没有传统机器学习的理论积累，就没有大模型的今天。 此外，传统机器学习模型还可以作为大模型的“助手”，帮助大模型提升性能。比如，用传统机器学习模型做数据清洗和特征提取，再将处理后的数据输入到大模型中，提升大模型的训练效率。
69110编辑于 2026-04-14- 来自专栏大模型成长之路
【大模型学习 | 词向量】
How achieveword2vec通过神经网络模型训练新的词向量表达模型中参数的定义：one-hot：1, 7 表示一共有七个单词；Embedding：表示输入层到隐藏层的权重矩阵，是从one-hot 向量到Embedding向量的关键，7, 3表示训练完成的每一个embedding向量维度为3；WeightLogits：表示隐藏层到输出层的权重矩阵，是模型损失计算的关键；Logits：表示最后每个单词输出的概率 ，与目标标签做损失进行模型训练；Lookup table语料库十分巨大，每个单词都采用one-hot输入训练会大大增加存储和计算开销，因此，在输入的过程，仅仅输入单词的索引值，例如在上述例子中，直接采用索引 CodingWord2Vec有两种模型结构：CBOW和Skip-gram，本质上的模型架构的不同：输入和输出一对多（Skip-gram）和多对一（CBOW）。 ，通过只更新负样本的权重，避免整个词汇表的计算Word2Vec模型本质是一个多分类问题，最后需要通过softmax激活函数判断哪一个单词的概率最大，因此需要计算所有单词的概率大小。
36410编辑于 2025-06-26 - 来自专栏大模型成长之路
【大模型学习 | Prompt工程基础学习】
prompting学习 许多初学者，包括曾经的我，可能一开始都会有类似的误解——“Prompting 还需要专门学习吗？不就是像在百度里搜索问题一样吗？” 然而，真正深入接触大语言模型（LLM）后你会发现，Prompting 远不止是问问题那么简单。大模型本身拥有极强的推理能力、逻辑能力与知识覆盖面，但这些能力并不是在默认状态下自动调用的。 （大模型本身无需挖掘的能力，也就是和搜索百度、谷歌一样简单）Few-shot Learning 指在 Prompt 中提供几个示例（一般 1~5 条)，引导语言模型理解任务格式与逻辑结构，再让模型生成新的答案 Large Language Models are Zero-Shot Reasoners这篇文章的作者在后来又提出了zero-shot COT，作者认为大型语言模型是零样本学习推理者，只需在每个答案前加上 实际上，语义上相似 ≠ 推理逻辑相似，模型可能会模仿错误的推理思路；例如两个数学题看起来都提到了“平均值”，但一个是求加权平均，一个是普通平均，提示错误会让模型走错方向。
1.4K21编辑于 2025-07-15 - 来自专栏DevOps
AI模型：开源大语言模型bloom学习
作为一名开源爱好者，我非常不喜欢知识付费或者服务收费的理念，所以便有决心写下此系列，让一般大众们可以不付费的玩转当下比较新的开源大语言模型bloom及其问答系列模型bloomz。 一、模型介绍 bloom是一个开源的支持最多59种语言和176B参数的大语言模型。 bigscience在hugging face上发布的bloom模型包含多个参数多个版本，本文中出于让大家都能动手实践的考虑，选择最小号的bloom-1b1版本，其他模型请自行尝试。 (checkpoint) #下载模型 网速足够快的情况下等一会就下载好了，但通常情况下我们得ctrl+c打断代码运行，手动下载模型存放到对应位置，即.cache\huggingface\hub\models–bigscience–bloom outputs[0])) #使用tokenizer对生成结果进行解码 a2 = time.time() print(f'time cost is {a2 - a1} s') time模块用来计时，我的是十二代i7，
1.2K10编辑于 2024-03-29 - 来自专栏大模型成长之路
【大模型学习 | CLIP 原理&实现】
Learning Transferable Visual Models From Natural Language Supervision 作者在摘要中指出，传统的监督式学习方法限制了视觉模型的泛化能力 以往的图像识别任务通常依赖于人为定义的分类标签进行训练，这种方式不仅数据成本高，而且模型更容易过拟合于训练类别。 为了解决这一问题，CLIP 提出了一个新的预训练框架：利用网络上现成的大规模图文对（如标题+图像）作为监督信号，将图像与自然语言描述进行匹配，从而在无需特定分类标签的情况下，学习具有通用性的视觉表征。 CNN和Transformer来预测图像标题；（Transformer采用了6300万个参数，识别图像的类别会比训练一个词袋模型慢三倍）；这两种方法来学习识别图像都有一个相同点：预测图像的准确文字； ，最大化配对图文之间的相似度，最小化不匹配对的相似度，并通过symeertric entropy loss优化相似得分： 训练模型并没有采用预训练权重模型，而是从头训练；并通过线性映射将不同模态编码器的表示映射到嵌入空间中
2.3K21编辑于 2025-07-15 - 来自专栏最新最全的大数据技术体系
大模型学习路线与建议
第一章 深度学习基础 深度学习基础 深度学习经典模型解析 深度学习模型优化策略解析 深度学习GPU原理与应用方法 深度学习GPU并行训练策略解析 深度学习模型多GPU训练实战 第二章 智能对话系统基础 ） Langchain 框架核心原理详解 Langchain-LLM部署应用实战 第四章 大模型应用实践 大模型微调概述 大模型微调中的核心要素 大模型微调中的数据收集与评估 大模型微调中ChatGPT 的使用 大模型Tuning技术详解（Prompt-Tuning/Instruction-Tuning/P-Tuning） 大模型PEFT技术详解（Adapter/LoRA） 大模型全参数微调技术详解 （DeepSpeed） 大模型RLHF技术详解（PPO/DeepSpeed-Chat） 基于常规NLP任务的大模型微调实战 第五章 大模型实战项目 大模型训练环境搭建 大模型数据收集与 instruction 设计 通用大模型微调代码开发（支持多模型/多框架） Baichuan-13B多GPU LoRA微调实现 Baichuan-13B多GPU 全参数微调实现 大模型性能评估体系搭建 大模型部署与服务接口开发
4.3K43编辑于 2023-10-17 - 来自专栏GiantPandaCV
星辰AI大模型TeleChat-7B评测
前言 受中电信 AI 科技有限公司的邀请，为他们近期开源的TeleChat-7B大模型做一个评测。 最后，我们可以从TeleChat-7B开源项目在文创方面展示的例子看到它具有不错的文创能力和一定的代码能力，可以作为开发者来使用的一个不错的基础大模型。 在评论评语方面，TeleChat7B可能是因为SFT的缘故会拒答一些问题，以及对于上面的第二个prompt回答的质量比较低。而对于上面的第一个问题，也出现了经典的大模型幻觉问题。 总结 总的来说，TeleChat-7B具有一定的文创能力和代码能力，对于本次测试的大多数prompt可以生成较为合理的答案。但模型本身也存在大模型幻觉，指令跟随能力一般以及回答有概率重复的问题。 此外，TeleChat-7B在开源方面是相当有诚意的，将清洗之后的训练数据进行开源是在之前的大模型开源中比较难见到的，如果想了解更多的数据清洗细节以及模型训练的细节可以阅读官方放出的技术报告：https
87920编辑于 2024-02-22 - 来自专栏大模型成长之路
【大模型学习 | RAG & DeepSeek 实战】
Deepseek & RAG 实战 编者常常有许多材料需要阅读查阅，但自己又比较懒，为此，想在大模型的学习过程中基于RAG技术将本地知识库与大模型结合起来，加快自身的效率。 在本次的项目设计，需要达成以下目标： 开源大模型的本地部署及使用 （以Deepseek为例）； PDF文本分析 ➕ 相似prompt检索提取 （关键）； 将检索到的信息与原prompt结合作为输入，得到结果 promptmessages = [ {"role": "user", "content": f"""请根据以下参考内容回答问题： {retrieved} 问题：{query}"""}]4️⃣ 模型部署 mode_name_or_path = '/root/autodl-tmp/deepseek-ai/deepseek-llm-7b-chat'# 加载预训练的分词器和模型tokenizer = AutoTokenizer.from_pretrained 5️⃣ 界面设计编者基于PYQT5模块设计了一个支持知识库搭建的大模型问答系统：搭建知识库后：模型输出写在最后：✅ 本项目搭建了一个简单的知识库问答系统，用户可以将自己的私人知识库进行搭建，基于RAG技术实现问答系统
1.3K31编辑于 2025-07-19 - 来自专栏大模型应用
大模型应用：大模型参数调优：结合本地模型对比多种组合探索差异.7
引言 在大模型的应用中，参数调优是连接模型潜力与实际效能的关键桥梁。与传统的软件参数不同，大模型的生成参数更像是一组精密的调控旋钮，它们不改变模型的基础知识，而是影响模型如何思考和表达。 理解这些参数的本质，不仅能够提升模型输出的质量，更是将大模型从玩具转变为工具的关键一步。 今天我们将从理论基础到实践应用，全面解析大模型的核心参数体系，详细的介绍大模型推理中常用的参数项，并通过本地模型示例展示参数调整对模型效能的影响。常见参数项：max_length：生成文本的最大长度。 通过多层神经网络的相互连接，可以构建一个复杂的模型，该模型可以学习到输入数据的复杂表示。2. 分步调优流程图五、总结 大模型的参数调优本质上是在控制与释放之间寻找平衡的艺术。
1.2K32编辑于 2026-02-04 LoRA大模型微调学习笔记
6、将微调后的模型上传到huggingface（需要再huggingface中配置access token） 7、使用ollama运行微调后到模型 五、微调主要参数介绍 1、学习率（Learning Rate 也就是告诉模型在训练过程中 “学习” 的速度有多快。学习率越大，模型每次调整的幅度就越大；学习率越小，调整的幅度就越小。 建议大家一开始使用比较小的学习率比较好，例如5e-5、4e-5 这种。 然后看情况看模型效果，慢慢调高或者。特别是小数据集的朋友们，一开始不要用特别大的学习率。例如1e-4、2e-4这种的。总的来说，小一点的学习率确实比较好拟合。也有不错的效果。 2、训练轮数（Number of Epochs） Epoch 是机器学习中用于描述模型训练过程的一个术语，指的是模型完整地遍历一次整个训练数据集的次数。 这样就能实现用小显存实现大 batch size 的效果，类似于 “分期付款” 的效果。
35310编辑于 2026-06-22- 来自专栏大模型成长之路
【大模型学习 | LORA 原理&实现】
✅ 将训练参数和显存需求分别缩小了10000倍以及3倍✅ 尽管深度模型在训练时使用了大量参数（也就是过参数化），但最终模型学到的知识（即其在参数空间中的表示）实际上只占据了一个很小的有效维度（intrinsic ❓ 为什么不直接加个模块，例如在每一层中加入一个小的瓶颈模块 这些方法最主要的缺点是需要在模型的表现和效率进行权衡，并且对于实时推理和更大规模的模型都有局限性1、LOW-RANK-PARAMETRIZED 接着对$\bigtriangledown W$进行缩放（为了避免$\bigtriangledown W$对原模型造成影响，避免训练不稳定），作者提出了调整了$\alpha$就相当于调整了学习率在 /deepseek-ai/deepseek-llm-7b-chat/', trust_remote_code=True, torch_dtype=torch.half, device_map="auto /deepseek-ai/deepseek-llm-7b-chat/')model.generation_config.pad_token_id = model.generation_config.eos_token_idmodel.enable_input_require_grads
1.2K10编辑于 2025-06-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号