- 综合排序
- 最热优先
- 最新优先
- 来自专栏司钰秘籍
AI大模型学习
在当前技术环境下，AI大模型学习不仅要求研究者具备深厚的数学基础和编程能力，还需要对特定领域的业务场景有深入的了解。 通过不断优化模型结构和算法，AI大模型学习能够不断提升模型的准确性和效率，为人类生活和工作带来更多便利。 AI大模型学习的理论基础 数学基础： 线性代数：AI 大模型中大量使用向量和矩阵运算，如矩阵乘法、向量点积等，用于表示和操作数据。 8. 迁移学习：利用已有的预训练模型，在新的任务上进行微调，加快训练过程。 9. 并行计算：使用多线程、多进程或分布式计算框架，加速模型的训练。 10. 此外，模型的性能也受到计算资源、数据质量和算法优化等因素的影响 AI大模型学习的伦理与社会影响 AI 大模型学习确实带来了一些伦理和社会问题，我们需要认真对待： 1.
83810编辑于 2024-04-04 - 来自专栏人工智能领域
AI大模型学习
AI大模型学习 在当前技术环境下，AI大模型学习不仅要求研究者具备深厚的数学基础和编程能力，还需要对特定领域的业务场景有深入的了解。 方向一：AI大模型学习的理论基础 AI 大模型学习的理论基础涉及深度学习、神经网络、优化算法等多个方面。 以下是一些关于 AI 大模型学习理论基础的重要内容： 深度学习：深度学习是 AI 大模型学习的核心理论基础，它通过构建多层神经网络来实现对复杂数据模式的学习和表征。 ———————————————— 方向二：AI大模型的训练与优化 AI 大模型学习的理论基础涉及深度学习、神经网络、优化算法等多个方面。 以下是一些关于 AI 大模型学习理论基础的重要内容： 深度学习：深度学习是 AI 大模型学习的核心理论基础，它通过构建多层神经网络来实现对复杂数据模式的学习和表征。
85310编辑于 2024-12-18 - 来自专栏大模型成长之路
【大模型学习 | BLIP原理】
一、预训练方法 1.1 图像文本模型 图像特征提取模型：VIT 文本特征提取模型：Unimodal encoder; Image-grounded text encoder; Image-grounded 这是因为生成任务要求模型按序预测每一个词，不能访问未来的信息。Causal attention 能保证自回归生成的正确性，使模型适合用作 decoder，实现图像到文本的自然语言生成。 对齐图像与文本的全局语义空间 让正样本图文对更接近，负样本更远 Image-Text Matching Loss Image-grounded text encoder 学习图文细粒度语义对齐 text decoder 图像到文本的语言生成能力 使用自回归预测生成 caption，优化交叉熵 Image-Text Contrastive Loss (ITC): InfoNCE（对比学习 最后组成一个新的数据集预训练模型。
1.2K10编辑于 2025-07-01 - 来自专栏大模型成长之路
【大模型学习 | RAG & ReAct】
进阶prompting 基础的prompting技术中，都是通过样例提示，激活模型本身的推理功能，但在现实的情况中，依然存在着仅仅依靠模型本身的知识是无法解决的，例如：① 数据库知识不足 ② 模型能力缺乏等 这种方式有效弥补了大模型记忆局限、提升了知识覆盖广度与事实准确性。 它允许大模型在推理过程中“边思考（Reason），边行动（Act）”，即模型可以根据问题内容主动决定是否调用某个工具、调用哪个工具，并基于工具返回的结果进一步推理和生成回答。 与其他 Agent 类方法类似，ReAct 也需要通过 Few-shot 样例 进行提示设计，帮助模型学习在何种情况下调用工具，以及如何将工具的反馈信息融入最终答案中。 ⭐ 为了更灵活的调用工具以及对模型的选用，我们需要对模型、函数进行封装：模型封装from transformers import AutoTokenizer, AutoModelForCausalLM,
1.9K30编辑于 2025-07-17 - 来自专栏大模型成长之路
【大模型学习 | LLaMA Serious】
一、LLaMA V1这篇文章主要是引出大模型的表现力并不是在模型的大小，而是训练数据的样本。之前的做法是尽可能的减少模型大小，但是这些方法忽略了推理代价。 在 PaLM、LLaMA、DeepSeek 等大模型上被广泛使用，带来精度提升。 其中， W,V 是可学习的权重矩阵b,c 是偏置项3️⃣ 位置编码采用了旋转位置编码：RoPE（Rotary Positional Embedding）RoPE 是一种通过“旋转”的方式，将相对位置信息引入注意力机制中的位置编码方法 图片4️⃣ Causal multi-head attention LLaMA是 only-decoder结构的模型，属于自回归语言模型（类似GPT）。 0, 0, -inf, -inf], [0, 0, 0, 0, -inf], [0, 0, 0, 0, 0]]二、LLaMA V2大部分的预训练设置都与
61730编辑于 2025-07-25 - 来自专栏学习
【机器学习】---大语言模型
这些模型，犹如现代科技的语言魔法师，通过海量数据和尖端的深度学习技术训练而成，在自然语言的理解与生成上展现了无与伦比的能力。 第一部分：什么是大语言模型？ 1. 走近大语言模型 大语言模型并非传统意义上的“语言学家”，而是通过深度学习技术训练的大规模神经网络，其核心目标是理解、生成并操控自然语言。 这些模型的强大之处在于，它们能够从海量的训练数据中学习语言的结构和语义关系，从而以极高的准确度生成自然语言文本。 它们的核心技术依赖于一种名为Transformer的模型架构。 模型训练的核心要素 要构建一个大语言模型，仅依赖强大的算法是不够的。以下是训练过程中不可或缺的三个关键要素： 海量语料库 模型需要从海量数据中学习语言的多样性和复杂性。 优化算法 如 AdamW，这是一种适合深度学习的优化算法，可以显著提高训练效率。 强大计算资源 通常需要数百甚至数千块 GPU 或 TPU 才能完成大规模模型的训练。
82810编辑于 2025-01-13 大模型和机器学习
“学习大模型之前，要不要先学机器学习？” 这些问题的本质，是对两个概念的边界认知模糊。事实上，大模型是机器学习的一个子集，是机器学习技术在“大参数、大数据、大算力”时代的进化形态。 模型量化：将模型参数从浮点数（FP32）转换为整数（INT8），减少模型体积和算力需求，代价是精度略有下降。 4.8 维度8：产业门槛——从个人可落地到大厂主导 两者的产业门槛差异巨大，这也决定了两者的产业生态。 5.1.1 代码实现 # -*- coding: utf-8 -*- # @Author : ken # @Time : 2026/1/20 # @File : spam_classification.py 5.2.1 代码实现 # -*- coding: utf-8 -*- # @Author : ken # @Time : 2026/1/20 # @File : llm_multitask.py
69110编辑于 2026-04-14- 来自专栏大模型成长之路
【大模型学习 | 词向量】
How achieveword2vec通过神经网络模型训练新的词向量表达模型中参数的定义：one-hot：1, 7 表示一共有七个单词；Embedding：表示输入层到隐藏层的权重矩阵，是从one-hot 向量到Embedding向量的关键，7, 3表示训练完成的每一个embedding向量维度为3；WeightLogits：表示隐藏层到输出层的权重矩阵，是模型损失计算的关键；Logits：表示最后每个单词输出的概率 ，与目标标签做损失进行模型训练；Lookup table语料库十分巨大，每个单词都采用one-hot输入训练会大大增加存储和计算开销，因此，在输入的过程，仅仅输入单词的索引值，例如在上述例子中，直接采用索引 CodingWord2Vec有两种模型结构：CBOW和Skip-gram，本质上的模型架构的不同：输入和输出一对多（Skip-gram）和多对一（CBOW）。 ，通过只更新负样本的权重，避免整个词汇表的计算Word2Vec模型本质是一个多分类问题，最后需要通过softmax激活函数判断哪一个单词的概率最大，因此需要计算所有单词的概率大小。
36410编辑于 2025-06-26 - 来自专栏大模型成长之路
【大模型学习 | Prompt工程基础学习】
prompting学习 许多初学者，包括曾经的我，可能一开始都会有类似的误解——“Prompting 还需要专门学习吗？不就是像在百度里搜索问题一样吗？” 然而，真正深入接触大语言模型（LLM）后你会发现，Prompting 远不止是问问题那么简单。大模型本身拥有极强的推理能力、逻辑能力与知识覆盖面，但这些能力并不是在默认状态下自动调用的。 （大模型本身无需挖掘的能力，也就是和搜索百度、谷歌一样简单）Few-shot Learning 指在 Prompt 中提供几个示例（一般 1~5 条)，引导语言模型理解任务格式与逻辑结构，再让模型生成新的答案 Large Language Models are Zero-Shot Reasoners这篇文章的作者在后来又提出了zero-shot COT，作者认为大型语言模型是零样本学习推理者，只需在每个答案前加上 = "": if args.task in ["gsm8k", "multiarith", "singleeq", "addsub", "svamp"]:
1.4K21编辑于 2025-07-15 - 来自专栏大模型应用
大模型应用：构建智能大模型运维体系：模型健康度监测系统实践.8
引言 大型语言模型已成为各行各业的核心基础设施。从客户服务到内容创作，从代码生成到科学研究，大模型正深度融入企业的核心业务流程。 传统的系统监控工具如Zabbix、Prometheus等虽然能监控基础硬件资源，但无法深入理解大模型服务的特殊行为模式，无法感知模型推理的内在质量，更无法预测服务性能的潜在风险。 今天我们将以模型健康度监测系统为例，深度剖析现代大模型运维平台的设计理念、技术实现与创新亮点。通过详细的流程分析、架构解读和实践场景说明，为构建智能化的模型运维体系提供完整的实践参考和技术路线图。 多层次监控体系 系统构建我们采用了四层级的立体化监控架构，每一层都针对大模型服务的特定维度进行深度监控：系统资源层：基础硬件资源监控（CPU、内存、磁盘、网络），确保运行环境稳定模型运行层 ): """智能性能评分算法 - 基于大模型服务特性的专业评分体系""" score = 100 # 基准分数 # CPU性能 (权重: 25%) - 考虑到大模型推理对CPU
62143编辑于 2026-02-05 - 来自专栏DevOps
AI模型：开源大语言模型bloom学习
作为一名开源爱好者，我非常不喜欢知识付费或者服务收费的理念，所以便有决心写下此系列，让一般大众们可以不付费的玩转当下比较新的开源大语言模型bloom及其问答系列模型bloomz。 一、模型介绍 bloom是一个开源的支持最多59种语言和176B参数的大语言模型。 bigscience在hugging face上发布的bloom模型包含多个参数多个版本，本文中出于让大家都能动手实践的考虑，选择最小号的bloom-1b1版本，其他模型请自行尝试。 (checkpoint) #下载模型 网速足够快的情况下等一会就下载好了，但通常情况下我们得ctrl+c打断代码运行，手动下载模型存放到对应位置，即.cache\huggingface\hub\models–bigscience–bloom 下载模型地址: https://huggingface.co/bigscience/bloom-1b1/tree/main 把如上图所示链接中的五个文件（不包含这个flax_model.msgpack）
1.2K10编辑于 2024-03-29 - 来自专栏大模型成长之路
【大模型学习 | CLIP 原理&实现】
Learning Transferable Visual Models From Natural Language Supervision 作者在摘要中指出，传统的监督式学习方法限制了视觉模型的泛化能力 CNN和Transformer来预测图像标题；（Transformer采用了6300万个参数，识别图像的类别会比训练一个词袋模型慢三倍）；这两种方法来学习识别图像都有一个相同点：预测图像的准确文字； ，最大化配对图文之间的相似度，最小化不匹配对的相似度，并通过symeertric entropy loss优化相似得分： 训练模型并没有采用预训练权重模型，而是从头训练；并通过线性映射将不同模态编码器的表示映射到嵌入空间中 文本编码器：① CBOW ② Transformer 12层 512维 8个注意力头 维度 视觉编码器（如 ResNet） 文本编码器（Transformer） 宽度 增加通道数 torch.quantization.quantize_dynamic( model, {torch.nn.Linear}, # 可以加上 torch.nn.LayerNorm 等 dtype=torch.qint8
2.3K21编辑于 2025-07-15 - 来自专栏最新最全的大数据技术体系
大模型学习路线与建议
第一章 深度学习基础 深度学习基础 深度学习经典模型解析 深度学习模型优化策略解析 深度学习GPU原理与应用方法 深度学习GPU并行训练策略解析 深度学习模型多GPU训练实战 第二章 智能对话系统基础 ） Langchain 框架核心原理详解 Langchain-LLM部署应用实战 第四章 大模型应用实践 大模型微调概述 大模型微调中的核心要素 大模型微调中的数据收集与评估 大模型微调中ChatGPT 的使用 大模型Tuning技术详解（Prompt-Tuning/Instruction-Tuning/P-Tuning） 大模型PEFT技术详解（Adapter/LoRA） 大模型全参数微调技术详解 （DeepSpeed） 大模型RLHF技术详解（PPO/DeepSpeed-Chat） 基于常规NLP任务的大模型微调实战 第五章 大模型实战项目 大模型训练环境搭建 大模型数据收集与 instruction 设计 通用大模型微调代码开发（支持多模型/多框架） Baichuan-13B多GPU LoRA微调实现 Baichuan-13B多GPU 全参数微调实现 大模型性能评估体系搭建 大模型部署与服务接口开发
4.3K43编辑于 2023-10-17 - 来自专栏大模型成长之路
【大模型学习 | RAG & DeepSeek 实战】
Deepseek & RAG 实战 编者常常有许多材料需要阅读查阅，但自己又比较懒，为此，想在大模型的学习过程中基于RAG技术将本地知识库与大模型结合起来，加快自身的效率。 在本次的项目设计，需要达成以下目标： 开源大模型的本地部署及使用 （以Deepseek为例）； PDF文本分析 ➕ 相似prompt检索提取 （关键）； 将检索到的信息与原prompt结合作为输入，得到结果 检索Top3结果：参考1 - 8 -（境外生排位第一）获得省部级及以上学科竞赛奖项，奖励金额参考2 1.学校对获得省部级及以上学科竞赛奖项的学生给予奖励，参考3 培训费以及学生奖金等。 - 8 -（境外生排位第一）获得省部级及以上学科竞赛奖项，奖励金额', '可提高 10%。' 5️⃣ 界面设计编者基于PYQT5模块设计了一个支持知识库搭建的大模型问答系统：搭建知识库后：模型输出写在最后：✅ 本项目搭建了一个简单的知识库问答系统，用户可以将自己的私人知识库进行搭建，基于RAG技术实现问答系统
1.3K31编辑于 2025-07-19 LoRA大模型微调学习笔记
也就是告诉模型在训练过程中 “学习” 的速度有多快。学习率越大，模型每次调整的幅度就越大；学习率越小，调整的幅度就越小。 建议大家一开始使用比较小的学习率比较好，例如5e-5、4e-5 这种。 然后看情况看模型效果，慢慢调高或者。特别是小数据集的朋友们，一开始不要用特别大的学习率。例如1e-4、2e-4这种的。总的来说，小一点的学习率确实比较好拟合。也有不错的效果。 2、训练轮数（Number of Epochs） Epoch 是机器学习中用于描述模型训练过程的一个术语，指的是模型完整地遍历一次整个训练数据集的次数。 这样就能实现用小显存实现大 batch size 的效果，类似于 “分期付款” 的效果。 显存紧张的时候，可优先降低秩（比降低批量大小更有效），例如将秩从 16 降至 8，可能直接释放 30% 以上的显存，不过建议最低不要 < 8，会影响模型的学习效果。
35310编辑于 2026-06-22- 来自专栏大模型成长之路
【大模型学习 | LORA 原理&实现】
✅ 将训练参数和显存需求分别缩小了10000倍以及3倍✅ 尽管深度模型在训练时使用了大量参数（也就是过参数化），但最终模型学到的知识（即其在参数空间中的表示）实际上只占据了一个很小的有效维度（intrinsic ❓ 为什么不直接加个模块，例如在每一层中加入一个小的瓶颈模块 这些方法最主要的缺点是需要在模型的表现和效率进行权衡，并且对于实时推理和更大规模的模型都有局限性1、LOW-RANK-PARAMETRIZED 接着对$\bigtriangledown W$进行缩放（为了避免$\bigtriangledown W$对原模型造成影响，避免训练不稳定），作者提出了调整了$\alpha$就相当于调整了学习率在 v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"], #目标矩阵 inference_mode=False, # 训练模式 r=8, (remember to modify the pretrained checkpoint accordingly)q_proj = lora.Linear(d_model, d_model, r=8)
1.2K10编辑于 2025-06-27 - 来自专栏token的技术分享
基于.NET8的AI大模型管理
此外，AIDotNet API还支持多种AI大模型，包括OpenAI、星火大模型、Claudia、智谱AI、Ollama、通义千问（阿里云）、AzureOpenAI以及腾讯混元大模型，满足了用户对各种AI 模型的需求。 基于.NET Core 8实现使用EntityFrameworkCore对于数据库操作。基于MiniApis提供WebAPI服务。 功能实现 支持用户管理 支持渠道管理 支持token管理 提供数据统计预览 支持日志查看 支持系统设置 支持接入外部Chat链接 支持支付宝购买账号余额 AI大模型支持列表 OpenAI （支持function ） 星火大模型（支持function） Claudia 智谱AI Ollama 通义千问（阿里云） AzureOpenAI（支持function） 腾讯混元大模型 支持数据库 SqlServer 配置类型
52910编辑于 2024-05-28 - 来自专栏面经
【大模型学习】现代大模型架构（二）：旋转位置编码和SwiGLU
RoPE / SwiGLU前言✍ 上一篇我们把现代大模型的两件“基础设施”——GQA 注意力 和 RMSNorm + Pre-Norm 细讲了一遍，从多头注意力的演化一路讲到归一化的升级。 ，但模型未必学会用。 ② 明确表示了sin-cos 虽然能算，但模型未必学会用，对远超训练长度的位置（比如 8192）对应的正弦相位组合，模型可能根本没“学会如何解读”；因此这里根本不会自相矛盾，用一句土话讲就是“可以但没用的外推 为什么大模型更喜欢用 SwiGLU？标准 FFN 只是一条 MLP 路径，所有通道共享同一个激活函数。 self.w2(self.dropout(x)) return xclass RMSNorm(nn.Module): def __init__(self, d_model, eps=1e-8)
1.5K30编辑于 2025-11-20 - 来自专栏PPV课数据科学社区
【学习】8大排序算法图文讲解
本文将依次介绍下述八大排序算法。 算法步骤： 1)首先在未排序序列中找到最小(大)元素，存放到排序序列的起始位置 2)再从剩余未排序元素中继续寻找最小(大)元素，然后放到已排序序列的末尾。 3)重复第二步，直到所有元素均排序完毕。 如果第一个比第二个大，就交换他们两个。 2)对每一对相邻元素作同样的工作，从开始第一对到结尾的最后一对。这步做完后，最后的元素会是最大的数。 算法步骤： 1从数列中挑出一个元素，称为“基准”(pivot)， 2重新排序数列，所有元素比基准值小的摆放在基准前面，所有元素比基准值大的摆在基准的后面(相同的数可以到任一边)。 但桶排序的缺点是： 1)首先是空间复杂度比较高，需要的额外开销大。
1K60发布于 2018-04-19 - 来自专栏MavenTalk
开源社区大模型目前面临的8大瓶颈问题
开源社区模型百花齐放，比如Meta的LLaMA系列，Hugging Face的Bloom系列，Stability AI的Stable Diffusion系列等等，为技术学习提供了学习平台，快速提升人才储备 但面对商业化的ClosedAI和OpenAI等语言模型，还存在一些瓶颈。 数据量不足，预训练数据有限 开源社区很难获得大规模高质量的数据集来进行模型预训练，导致其模型质量无法与业内巨头相提并论。 数据量的不足直接限制了模型的表达能力和推理能力。 算力资源有限，GPU/TPU数量相对较少 开源社区几乎没有足够的GPU/TPU来训练超大规模的模型参数，很难进行长时间的预训练，无法匹敌巨头公司拥有的算力优势。算力的缺乏是开源模型质量提升的硬限制。 模型泛化、可解释性与安全性等方面有待提高 开源模型的可解释性和安全性还需要加强，部署时存在不确定性，这也是限制其应用的一个因素。
76230编辑于 2023-09-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号