- 综合排序
- 最热优先
- 最新优先
- 来自专栏人工智能领域
AI大模型学习
AI大模型学习 在当前技术环境下，AI大模型学习不仅要求研究者具备深厚的数学基础和编程能力，还需要对特定领域的业务场景有深入的了解。 方向一：AI大模型学习的理论基础 AI 大模型学习的理论基础涉及深度学习、神经网络、优化算法等多个方面。 以下是一些关于 AI 大模型学习理论基础的重要内容： 深度学习：深度学习是 AI 大模型学习的核心理论基础，它通过构建多层神经网络来实现对复杂数据模式的学习和表征。 ———————————————— 方向二：AI大模型的训练与优化 AI 大模型学习的理论基础涉及深度学习、神经网络、优化算法等多个方面。 以下是一些关于 AI 大模型学习理论基础的重要内容： 深度学习：深度学习是 AI 大模型学习的核心理论基础，它通过构建多层神经网络来实现对复杂数据模式的学习和表征。
80210编辑于 2024-12-18 - 来自专栏司钰秘籍
AI大模型学习
在当前技术环境下，AI大模型学习不仅要求研究者具备深厚的数学基础和编程能力，还需要对特定领域的业务场景有深入的了解。 通过不断优化模型结构和算法，AI大模型学习能够不断提升模型的准确性和效率，为人类生活和工作带来更多便利。 AI大模型学习的理论基础 数学基础： 线性代数：AI 大模型中大量使用向量和矩阵运算，如矩阵乘法、向量点积等，用于表示和操作数据。 解释性较差，难以理解模型的决策过程。 AI大模型的训练与优化 训练和优化大规模机器学习模型确实是一个具有挑战性的任务，以下是一些有效的方法和技巧： 1. 此外，模型的性能也受到计算资源、数据质量和算法优化等因素的影响 AI大模型学习的伦理与社会影响 AI 大模型学习确实带来了一些伦理和社会问题，我们需要认真对待： 1.
79610编辑于 2024-04-04 - 来自专栏AI机器学习与深度学习算法
机器学习入门 7-9 人脸识别与特征脸
本系列是《玩转机器学习教程》一个整理的视频笔记。本章的最后一个小节介绍PCA在人脸识别领域的一个特殊的应用，也就是所谓的特征脸。本小节会介绍什么是特征脸，并通过可视化的方式直观的感受特征脸。 在下一章将解除另外一个非常重要的问题-多项式回归，简单来说多项式回归就是使用线性回归的思路来解决非线性回归的问题，同时也会引入机器学习中非常重要的问题-模型的泛化。
1.5K20发布于 2019-11-23 - 来自专栏大模型成长之路
【大模型学习 | LLaMA Serious】
一、LLaMA V1这篇文章主要是引出大模型的表现力并不是在模型的大小，而是训练数据的样本。之前的做法是尽可能的减少模型大小，但是这些方法忽略了推理代价。 在 PaLM、LLaMA、DeepSeek 等大模型上被广泛使用，带来精度提升。 其中， W,V 是可学习的权重矩阵b,c 是偏置项3️⃣ 位置编码采用了旋转位置编码：RoPE（Rotary Positional Embedding）RoPE 是一种通过“旋转”的方式，将相对位置信息引入注意力机制中的位置编码方法 图片4️⃣ Causal multi-head attention LLaMA是 only-decoder结构的模型，属于自回归语言模型（类似GPT）。 0, 0, -inf, -inf], [0, 0, 0, 0, -inf], [0, 0, 0, 0, 0]]二、LLaMA V2大部分的预训练设置都与
58530编辑于 2025-07-25 - 来自专栏大模型成长之路
【大模型学习 | BLIP原理】
一、预训练方法 1.1 图像文本模型 图像特征提取模型：VIT 文本特征提取模型：Unimodal encoder; Image-grounded text encoder; Image-grounded 这是因为生成任务要求模型按序预测每一个词，不能访问未来的信息。Causal attention 能保证自回归生成的正确性，使模型适合用作 decoder，实现图像到文本的自然语言生成。 对齐图像与文本的全局语义空间 让正样本图文对更接近，负样本更远 Image-Text Matching Loss Image-grounded text encoder 学习图文细粒度语义对齐 text decoder 图像到文本的语言生成能力 使用自回归预测生成 caption，优化交叉熵 Image-Text Contrastive Loss (ITC): InfoNCE（对比学习 最后组成一个新的数据集预训练模型。
1.2K10编辑于 2025-07-01 - 来自专栏大模型成长之路
【大模型学习 | RAG & ReAct】
进阶prompting 基础的prompting技术中，都是通过样例提示，激活模型本身的推理功能，但在现实的情况中，依然存在着仅仅依靠模型本身的知识是无法解决的，例如：① 数据库知识不足 ② 模型能力缺乏等 这种方式有效弥补了大模型记忆局限、提升了知识覆盖广度与事实准确性。 它允许大模型在推理过程中“边思考（Reason），边行动（Act）”，即模型可以根据问题内容主动决定是否调用某个工具、调用哪个工具，并基于工具返回的结果进一步推理和生成回答。 与其他 Agent 类方法类似，ReAct 也需要通过 Few-shot 样例 进行提示设计，帮助模型学习在何种情况下调用工具，以及如何将工具的反馈信息融入最终答案中。 ⭐ 为了更灵活的调用工具以及对模型的选用，我们需要对模型、函数进行封装：模型封装from transformers import AutoTokenizer, AutoModelForCausalLM,
1.8K30编辑于 2025-07-17 - 来自专栏学习
【机器学习】---大语言模型
这些模型，犹如现代科技的语言魔法师，通过海量数据和尖端的深度学习技术训练而成，在自然语言的理解与生成上展现了无与伦比的能力。 第一部分：什么是大语言模型？ 1. 走近大语言模型 大语言模型并非传统意义上的“语言学家”，而是通过深度学习技术训练的大规模神经网络，其核心目标是理解、生成并操控自然语言。 这些模型的强大之处在于，它们能够从海量的训练数据中学习语言的结构和语义关系，从而以极高的准确度生成自然语言文本。 它们的核心技术依赖于一种名为Transformer的模型架构。 模型训练的核心要素 要构建一个大语言模型，仅依赖强大的算法是不够的。以下是训练过程中不可或缺的三个关键要素： 海量语料库 模型需要从海量数据中学习语言的多样性和复杂性。 优化算法 如 AdamW，这是一种适合深度学习的优化算法，可以显著提高训练效率。 强大计算资源 通常需要数百甚至数千块 GPU 或 TPU 才能完成大规模模型的训练。
75910编辑于 2025-01-13 大模型和机器学习
“学习大模型之前，要不要先学机器学习？” 这些问题的本质，是对两个概念的边界认知模糊。事实上，大模型是机器学习的一个子集，是机器学习技术在“大参数、大数据、大算力”时代的进化形态。 3.2 大模型的三大核心要素 大模型的“大”，体现在三个方面，这也是大模型与传统机器学习模型的根本区别之一。 决策树、SVM等）、深度学习模型（CNN、RNN等）、大模型 是机器学习的一个子集，属于深度学习的范畴 技术层级 人工智能 > 机器学习 > 深度学习 > 大模型 处于技术层级的最底层，是机器学习的进化形态 6.1 大模型依赖传统机器学习的理论基础 大模型的核心技术，如梯度下降、反向传播、损失函数等，都来源于传统机器学习。没有传统机器学习的理论积累，就没有大模型的今天。 此外，传统机器学习模型还可以作为大模型的“助手”，帮助大模型提升性能。比如，用传统机器学习模型做数据清洗和特征提取，再将处理后的数据输入到大模型中，提升大模型的训练效率。
53110编辑于 2026-04-14- 来自专栏大模型成长之路
【大模型学习 | 词向量】
How achieveword2vec通过神经网络模型训练新的词向量表达模型中参数的定义：one-hot：1, 7 表示一共有七个单词；Embedding：表示输入层到隐藏层的权重矩阵，是从one-hot 向量到Embedding向量的关键，7, 3表示训练完成的每一个embedding向量维度为3；WeightLogits：表示隐藏层到输出层的权重矩阵，是模型损失计算的关键；Logits：表示最后每个单词输出的概率 ，与目标标签做损失进行模型训练；Lookup table语料库十分巨大，每个单词都采用one-hot输入训练会大大增加存储和计算开销，因此，在输入的过程，仅仅输入单词的索引值，例如在上述例子中，直接采用索引 CodingWord2Vec有两种模型结构：CBOW和Skip-gram，本质上的模型架构的不同：输入和输出一对多（Skip-gram）和多对一（CBOW）。 ，通过只更新负样本的权重，避免整个词汇表的计算Word2Vec模型本质是一个多分类问题，最后需要通过softmax激活函数判断哪一个单词的概率最大，因此需要计算所有单词的概率大小。
33910编辑于 2025-06-26 - 来自专栏大模型成长之路
【大模型学习 | Prompt工程基础学习】
prompting学习 许多初学者，包括曾经的我，可能一开始都会有类似的误解——“Prompting 还需要专门学习吗？不就是像在百度里搜索问题一样吗？” 然而，真正深入接触大语言模型（LLM）后你会发现，Prompting 远不止是问问题那么简单。大模型本身拥有极强的推理能力、逻辑能力与知识覆盖面，但这些能力并不是在默认状态下自动调用的。 （大模型本身无需挖掘的能力，也就是和搜索百度、谷歌一样简单）Few-shot Learning 指在 Prompt 中提供几个示例（一般 1~5 条)，引导语言模型理解任务格式与逻辑结构，再让模型生成新的答案 Large Language Models are Zero-Shot Reasoners这篇文章的作者在后来又提出了zero-shot COT，作者认为大型语言模型是零样本学习推理者，只需在每个答案前加上 实际上，语义上相似 ≠ 推理逻辑相似，模型可能会模仿错误的推理思路；例如两个数学题看起来都提到了“平均值”，但一个是求加权平均，一个是普通平均，提示错误会让模型走错方向。
1.3K21编辑于 2025-07-15 - 来自专栏DevOps
AI模型：开源大语言模型bloom学习
作为一名开源爱好者，我非常不喜欢知识付费或者服务收费的理念，所以便有决心写下此系列，让一般大众们可以不付费的玩转当下比较新的开源大语言模型bloom及其问答系列模型bloomz。 一、模型介绍 bloom是一个开源的支持最多59种语言和176B参数的大语言模型。 bigscience在hugging face上发布的bloom模型包含多个参数多个版本，本文中出于让大家都能动手实践的考虑，选择最小号的bloom-1b1版本，其他模型请自行尝试。 (checkpoint) #下载模型 网速足够快的情况下等一会就下载好了，但通常情况下我们得ctrl+c打断代码运行，手动下载模型存放到对应位置，即.cache\huggingface\hub\models–bigscience–bloom 下载模型地址: https://huggingface.co/bigscience/bloom-1b1/tree/main 把如上图所示链接中的五个文件（不包含这个flax_model.msgpack）
1.2K10编辑于 2024-03-29 - 来自专栏大模型成长之路
【大模型学习 | LORA 原理&实现】
for loralib, an implementation of "LoRA: Low-Rank Adaptation of Large Language Models"GPT-3： 175B 微调模型变得十分的贵 作者提出利用Low-Rank Adaption 来冻结训练模型的权重，并且加入可训练的rank decomposition matrices在transformer架构的每一个层中。 ✅ 将训练参数和显存需求分别缩小了10000倍以及3倍✅ 尽管深度模型在训练时使用了大量参数（也就是过参数化），但最终模型学到的知识（即其在参数空间中的表示）实际上只占据了一个很小的有效维度（intrinsic ❓ 为什么不直接加个模块，例如在每一层中加入一个小的瓶颈模块 这些方法最主要的缺点是需要在模型的表现和效率进行权衡，并且对于实时推理和更大规模的模型都有局限性1、LOW-RANK-PARAMETRIZED 接着对$\bigtriangledown W$进行缩放（为了避免$\bigtriangledown W$对原模型造成影响，避免训练不稳定），作者提出了调整了$\alpha$就相当于调整了学习率在
1.1K10编辑于 2025-06-27 LoRA大模型微调学习笔记
6、将微调后的模型上传到huggingface（需要再huggingface中配置access token） 7、使用ollama运行微调后到模型 五、微调主要参数介绍 1、学习率（Learning Rate 也就是告诉模型在训练过程中 “学习” 的速度有多快。学习率越大，模型每次调整的幅度就越大；学习率越小，调整的幅度就越小。 建议大家一开始使用比较小的学习率比较好，例如5e-5、4e-5 这种。 然后看情况看模型效果，慢慢调高或者。特别是小数据集的朋友们，一开始不要用特别大的学习率。例如1e-4、2e-4这种的。总的来说，小一点的学习率确实比较好拟合。也有不错的效果。 2、训练轮数（Number of Epochs） Epoch 是机器学习中用于描述模型训练过程的一个术语，指的是模型完整地遍历一次整个训练数据集的次数。 这样就能实现用小显存实现大 batch size 的效果，类似于 “分期付款” 的效果。
23110编辑于 2026-06-22- 来自专栏最新最全的大数据技术体系
大模型学习路线与建议
第一章 深度学习基础 深度学习基础 深度学习经典模型解析 深度学习模型优化策略解析 深度学习GPU原理与应用方法 深度学习GPU并行训练策略解析 深度学习模型多GPU训练实战 第二章 智能对话系统基础 ） Langchain 框架核心原理详解 Langchain-LLM部署应用实战 第四章 大模型应用实践 大模型微调概述 大模型微调中的核心要素 大模型微调中的数据收集与评估 大模型微调中ChatGPT 的使用 大模型Tuning技术详解（Prompt-Tuning/Instruction-Tuning/P-Tuning） 大模型PEFT技术详解（Adapter/LoRA） 大模型全参数微调技术详解 （DeepSpeed） 大模型RLHF技术详解（PPO/DeepSpeed-Chat） 基于常规NLP任务的大模型微调实战 第五章 大模型实战项目 大模型训练环境搭建 大模型数据收集与 instruction 设计 通用大模型微调代码开发（支持多模型/多框架） Baichuan-13B多GPU LoRA微调实现 Baichuan-13B多GPU 全参数微调实现 大模型性能评估体系搭建 大模型部署与服务接口开发
4.2K43编辑于 2023-10-17 - 来自专栏大模型成长之路
【大模型学习 | CLIP 原理&实现】
Learning Transferable Visual Models From Natural Language Supervision 作者在摘要中指出，传统的监督式学习方法限制了视觉模型的泛化能力 以往的图像识别任务通常依赖于人为定义的分类标签进行训练，这种方式不仅数据成本高，而且模型更容易过拟合于训练类别。 为了解决这一问题，CLIP 提出了一个新的预训练框架：利用网络上现成的大规模图文对（如标题+图像）作为监督信号，将图像与自然语言描述进行匹配，从而在无需特定分类标签的情况下，学习具有通用性的视觉表征。 CNN和Transformer来预测图像标题；（Transformer采用了6300万个参数，识别图像的类别会比训练一个词袋模型慢三倍）；这两种方法来学习识别图像都有一个相同点：预测图像的准确文字； ，最大化配对图文之间的相似度，最小化不匹配对的相似度，并通过symeertric entropy loss优化相似得分： 训练模型并没有采用预训练权重模型，而是从头训练；并通过线性映射将不同模态编码器的表示映射到嵌入空间中
2.2K21编辑于 2025-07-15 - 来自专栏大模型成长之路
【大模型学习 | RAG & DeepSeek 实战】
Deepseek & RAG 实战 编者常常有许多材料需要阅读查阅，但自己又比较懒，为此，想在大模型的学习过程中基于RAG技术将本地知识库与大模型结合起来，加快自身的效率。 在本次的项目设计，需要达成以下目标： 开源大模型的本地部署及使用 （以Deepseek为例）； PDF文本分析 ➕ 相似prompt检索提取 （关键）； 将检索到的信息与原prompt结合作为输入，得到结果 promptmessages = [ {"role": "user", "content": f"""请根据以下参考内容回答问题： {retrieved} 问题：{query}"""}]4️⃣ 模型部署 mode_name_or_path)llm.generation_config.pad_token_id = llm.generation_config.eos_token_idllm.eval() # 设置模型为评估模式 5️⃣ 界面设计编者基于PYQT5模块设计了一个支持知识库搭建的大模型问答系统：搭建知识库后：模型输出写在最后：✅ 本项目搭建了一个简单的知识库问答系统，用户可以将自己的私人知识库进行搭建，基于RAG技术实现问答系统
1.2K31编辑于 2025-07-19 - 来自专栏面经
【大模型学习】现代大模型架构（二）：旋转位置编码和SwiGLU
RoPE / SwiGLU前言✍ 上一篇我们把现代大模型的两件“基础设施”——GQA 注意力 和 RMSNorm + Pre-Norm 细讲了一遍，从多头注意力的演化一路讲到归一化的升级。 ，但模型未必学会用。 ② 明确表示了sin-cos 虽然能算，但模型未必学会用，对远超训练长度的位置（比如 8192）对应的正弦相位组合，模型可能根本没“学会如何解读”；因此这里根本不会自相矛盾，用一句土话讲就是“可以但没用的外推 读者可能都知道旋转编码就是在Q K上进行旋转，但具体是怎么让模型知道了他们的相对位置信息呢？ 为什么大模型更喜欢用 SwiGLU？标准 FFN 只是一条 MLP 路径，所有通道共享同一个激活函数。
1.4K30编辑于 2025-11-20 - 来自专栏大模型成长之路
【大模型学习 | BERT 量化实战（2） 】
BERT 量化实战分析前言：在【大模型学习 | 量化实战（1）】-腾讯云开发者社区-腾讯云中基于BERT实现了情感分析系统以及量化的实现，但是量化的结果导致了模型的精确度急剧下降，从90%降到了54%， 为此，在本章中，尽可能的分析导致量化后模型精度下降的原因上期问题 在量化过程中，发现无法采用export量化，但是 Eager Mode 成功了， Eager Mode 只对线性层进行了量化，而没有对 未出现截断情况（即分布区域超过量化上下限）、分布近似 scale过大scale的计算如下所示：scale=\frac{max(w)-min(w)}{255} , 个别层的权重有离群值，会导致scale非常大， ，观察精度下降情况误差传播分析对 float32 模型 和 量化模型，输入相同的样本；逐层提取中间层输出；对每层输出计算误差（如 MSE、Cosine 距离等）；画出误差随层数变化的曲线 → 看是否有层明显放大了误差 ；具体样本误差对比目标：某个具体输入，FP32 模型 vs INT8 模型输出差异有多大
88310编辑于 2025-06-27 学习笔记：什么是大模型微调
学习笔记：什么是大模型微调大模型微调（Fine-tuning）是一种在预训练模型（Pre-trainedLanguageModels,PLMs）完成训练后，为了适应特定任务或用户需求而对其进行优化和调整的技术和方法 预训练大模型虽然知识渊博，但在特定应用场景下往往存在不足。微调的主要目的就是解决这些“不到位”的问题，可以归结为两大类：补数据和纠能力。 原生大模型可能对“急性ST段抬高型心肌梗死（STEMI）”这类专业名词理解不透，导致后续的诊断编码、用药推荐等一系列专业工作出错。 这类方法不改变模型的核心参数，而是通过优化添加到输入端的、可学习的虚拟提示（Prompt）或前缀（Prefix）来引导模型生成期望的输出。•成本：通常也是非常低的，因为它需要更新的参数量极少。 随着技术发展，未来可能会出现更高效的微调策略.微调技术简介现在大模型微调技术实现上非常简单，比如用「LLaMA-Factory」微调一个闺蜜大模型跟你聊天。
10900编辑于 2026-07-17- 来自专栏开源技术小栈
PHP大模型深度学习库TransformersPHP
概述 TransformersPHP是一个工具包，PHP开发人员可以轻松地将机器学习魔法添加到他们的项目中。 “预训练模型”只是从大量文本数据中获得和学习的机器学习模型。它们已经准备好开箱即用，可以执行各种任务。使用TransformersPHP，这些模型直接在PHP应用程序中运行。 ONNX引擎看起来似乎是一个复杂的术语，但它本质上是一个高性能引擎，旨在推断和加速机器学习模型。开放神经网络交换（ONNX）格式是该引擎的核心，是机器学习模型的通用格式。 这意味着无论最初使用哪个框架来训练模型-无论是PyTorch，TensorFlow，JAX，甚至是经典的机器学习库，如scikit-learn，LightGBM，XGBoost等-可以转换为ONNX格式 它在机器学习世界和PHP开发之间创建了一个无缝的桥梁，允许您在应用程序中利用强大的模型。
1.1K10编辑于 2024-08-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号