- 综合排序
- 最热优先
- 最新优先
- 来自专栏磐创AI技术团队的专栏
拥有LLM模型
大型语言模型（LLM）越来越显示出其价值。将图像纳入LLMs使它们作为视觉语言模型更加有用。在本文中，我将解释一个名为GIT-LLM的模型的开发，这是一个简单但强大的视觉语言模型。 然而，在本文中，我尝试使用强大的LLM并进行微调。在这里，我称该模型为“GIT-LLM”。 实验1：确定微调位置 在关于GIT模型的研究论文中，解释了使用强大的视觉编码器和采用语言模型的随机参数。这一次，由于最终目标是使用7B级语言模型，将对语言模型应用预训练模型。 实验2：比较十亿级别的模型 在先前的实验中，微调条件下使用了一个稍小的语言模型OPT-350m。现在，意图是将语言模型切换到一个7B模型。 要使用OPT的7B级模型，只需将模型名称从facebook/opt-350m更改为facebook/opt-6.7b。 对于LLaMA，由于LLaMA2已经可用，它将成为首选模型。
58110编辑于 2024-06-06 - 来自专栏产品笔记
大语言模型(LLM)
目前的大语言模型采用与小模型类似的Transformer架构和预训练目标（如 Language Modeling），与小模型的主要区别在于增加模型大小、训练数据和计算资源。 目前，大语言模型取得如此巨大的成就，总结了五方面原因：模型、数据和计算资源的扩展；高效稳定的训练手段；语言模型能力诱导；对齐训练，将大语言模型与人类偏好对齐；工具使用（潜在发展方向）； ---- 02 预训练是大语言模型能力的基础。当语言模型的参数量扩展到超千亿级别时，从头预训练一个大语言模型就成为一件十分困难且有挑战的事情。在数据层面，如何收集尽可能多的高质量语料对预训练模型的效果十分关键。 指令微调通过收集指令格式的实例来微调大模型，大大增强了模型遵循人类指令的能力，能够让模型更好地泛化到未知任务。 03 — 大语言模型的特征 大型通用语言模型可以进行预训练，然后针对特定目标进行微调。 Large（大）：在"大语言模型"的上下文中，"大"主要有两层含义。一方面，它指的是模型的参数数量。
1.8K50编辑于 2023-09-09 - 来自专栏MySQL解决方案工程师
大型语言模型LLM
最近在学习OCI的生成式AI相关方面的内容，对相关内容做一下整理，内容涉及LLM基础、LLM架构、提示（Promot）、微调（fine-tuning）、各种模型、OCI的生成式AI、RAG，及向量数据库等等 什么是LLM？ LLM（Large Language Model）是大型语言模型的缩写，语言模型（LM）是一个文本的概率模型。为了能够简单说明该模型，在这里举一个简单的例子。 注意，LLM中第一个L是指模型参数的数量。 按照此时的候选词汇概率高低，LM大概率会选择“狗”填入括号中，如果句子变为“我写信给农场，希望他们送我一个宠物，他们送给我一只小（）”。 LLM中的各种模型具备不同的能力，例如嵌入（emmbedding）/生成（generation），模型的类型不同导致了它们的参数数量不同。 下面是一个模型分布图，注意纵轴，参数的数量是成10倍增长的。 以上内容是关于LLM基础及架构的一个简单介绍，后续会介绍提示及微调等方面的内容。感谢关注MySQL解决方案工程师。
55210编辑于 2024-06-14 - 来自专栏xiaosen
LLM主流开源代表模型
LLM主流开源大模型介绍 1 LLM主流大模型类别 随着ChatGPT迅速火爆，引发了大模型的时代变革，国内外各大公司也快速跟进生成式AI市场，近百款大模型发布及应用。 2023年发布的一个开放且高效的大型基础语言模型，共有 7B、13B、33B、65B（650 亿）四种版本。 3.3 模型配置（7B） 配置 数据 参数 6.7B 隐藏层维度 4096 层数 32 注意力头数 32 训练数据 1T 词表大小 32000 最大长度 2048 3.4 硬件要求 65B的模型，在2048 模型在384 张 NVIDIA A100 80GB GPU上，训练于 2022 年 3 月至 7 月期间，耗时约 3.5 个月完成 (约 100 万计算时)，算力成本超过300万欧元 4.5 模型特点 BELLE: 链家仅使用由 ChatGPT 生产的数据，对 BLOOMZ-7B1-mt 进行了指令微调。 小结 主要介绍了LLM主流的开源大模型，对不同模型架构、训练目标、优缺点进行了分析和总结。
63710编辑于 2024-06-04 - 来自专栏机器学习
介绍大语言模型（LLM）
介绍大语言模型（LLM）近年来，人工智能（AI）和自然语言处理（NLP）领域取得了显著的进展，其中大语言模型（Large Language Models，简称LLM）成为了引人注目的焦点。 大语言模型是基于深度学习技术训练的，可以理解和生成自然语言文本的AI模型。本文将介绍大语言模型的基本概念、发展历程、应用领域以及未来的潜力。什么是大语言模型？ 大语言模型的发展历程大语言模型的发展可以追溯到早期的语言模型，如N-gram模型和LSTM（长短期记忆网络）。 自Transformer架构提出以来，多个大规模语言模型相继问世，如：GPT（生成预训练变换器）系列：由OpenAI推出的GPT系列模型是最具代表性的LLM之一。 未来的发展方向随着技术的不断进步，大语言模型在未来有望实现更多的突破：模型压缩和优化：通过模型压缩和优化技术，降低大语言模型的计算资源需求，推动其在移动设备和资源受限环境中的应用。
1.3K00编辑于 2024-07-30 - 来自专栏架构师成长之路
大模型llm：Ollama部署llama3学习入门llm
二、Ollama安装 1、Ollama简介 Ollama 是一个开源的大型语言模型（LLM）服务工具，它允许用户在本地机器上运行和部署大型语言模型。 \n\n**Korean:** 《Meta Llama 3》：현재 가장 강력한 공개 사용 가능한 LLM\n\n**Japanese:**\n\n《Meta Llama 3》：現在最強の公開使用可能 なLLM\n\n\n\nNote: (Meta Llama 3) is a literal translation, as there is no direct equivalent for \"Meta BD%B2%EF%BC%8C%E6%9C%89%E7%82%B9%E9%BA%BB%E7%83%A6%EF%BC%8C%E8%80%8C%E4%B8%94%E9%95%9C%E5%83%8F%E4%B9% 9D%9E%E5%B8%B8%E8%BD%BB%E9%87%8F%E7%BA%A7%EF%BC%8C%E5%8F%AA%E9%9C%80%E8%A6%81%E4%BE%9D%E8%B5%96Node.js
7K00编辑于 2024-05-24 - 来自专栏xiaosen
LLM-AI大模型介绍
大语言模型 (LLM) 背景 大语言模型 (Large Language Model) 是一种人工智能模型, 它们通常包含数千亿甚至更多的参数，并在大规模数据集上进行训练。 在这个过程中，关键技术的发展推动了模型的演进和性能的提升。 LLM通常建立在Transformer架构之上，这种架构使用了多头注意力机制，能够处理长距离的依赖关系。 这些模型通过堆叠多个注意力层来提高其处理复杂语言任务的能力。 随着模型参数数量的增加，LLM展现出了小模型所不具备的特殊能力，如上下文学习能力和逐步推理能力。 这些能力的涌现使得LLM在多项任务中取得了显著的效果提升。 LLM的训练过程通常包括预训练和微调两个阶段。 LLM的应用产生了深远的影响，例如ChatGPT等模型展现出了强大的人机对话能力和任务求解能力，这对整个AI研究社区产生了重大影响。
65310编辑于 2024-04-20 - 来自专栏DeepHub IMBA
开源大型语言模型(llm)总结
大型语言模型（LLM）是人工智能领域中的一个重要研究方向，在ChatGPT之后，它经历了快速的发展。这些发展主要涉及以下几个方面： 模型规模的增长：LLM的规模越来越大，参数数量显著增加。 位于阿布扎比的技术创新研究所(TII)宣布了其开源大型语言模型(LLM)——Falcon-40B。 这个解决方案将训练7B模型的成本从500美元削减到140美元左右，将训练13B模型的成本从1000美元左右削减到300美元左右。 Alpaca Alpaca，在Meta的LLaMA 7B模型上进行了微调。使用text-davinci-003以自指导的方式生成52K指令跟随LLaMA 模型。 在8台80GB的a100上微调7B LLaMA模型花了3个小时，在大多数云计算提供商那里，a100的成本不到100美元。
76542编辑于 2023-08-30 什么是大语言模型（LLM）
大语言模型（LargeLanguageModel，简称LLM）是一种旨在理解和生成人类语言的人工智能模型。 1.定义与基本原理大语言模型是一种基于深度学习的自然语言处理模型。其“大”主要体现在两个方面：参数规模大：模型包含数十亿至数千亿的可调节参数，用以学习语言数据中的细微模式和复杂关系。 模型通过遮盖或预测文本中缺失的词来学习语言的统计规律、语法和语义。微调让模型适应特定的下游任务或领域。 4.常见的大语言模型例子以下是一些具有代表性和影响力的大语言模型：模型名称开发机构主要特点GPT系列OpenAI最具代表性的自回归语言模型系列。 5.面临的挑战与局限尽管能力强大，大语言模型的发展仍面临若干显著挑战：巨大的资源消耗：训练顶级LLM需要庞大的计算集群和巨额电力，导致极高的经济成本和环境足迹，这使得其研发主要集中于少数大型科技机构。
77110编辑于 2026-03-03- 来自专栏喔家ArchiSelf
解读大模型（LLM）的token
大型语言模型(LLM)不能真正理解原始文本，相反，文本被转换为称为token的数字表示形式，然后将这些token提供给模型进行处理。 token 在区块链中代表是通证或者代币，那么token在LLM中代表的是什么呢？ 1. 什么是token？ 在 LLM 中，token代表模型可以理解和生成的最小意义单位，是模型的基础单元。 3. token 对LLM 的影响 关于token的数量如何影响模型的响应，常常感到困惑的是，更多的token是否使模型更加详细而具体呢？ tokenization是将输入和输出文本分割成更小的单元，由 LLM AI 模型处理的过程。 tokenization的不断发展将进一步赋予 LLM 以更高的准确性、效率和适应性来处理和生成文本。 7.小结 Token是支持 LLM 语言处理能力的基本构件。
20.6K51编辑于 2023-10-08 - 来自专栏产品笔记
大语言模型（LLM）LangChain介绍
LangChain是一个利用大语言模型的能力开发各种下游应用的开源框架，它的核心理念是为各种大语言模型应用实现通用的接口，简化大语言模型应用的开发难度，主要的模块示意图为： Index：提供了各类文档导入 Models：提供了对各类大语言模型的管理和集成，除闭源的大语言模型 API 接口外，还提供对多个开源模型仓库中开源大语言模型的集成接口，以及在云上部署的大语言模型接口。 ，如问答任务提供了 Question Answering Chain，文本摘要任务提供了 Summarization Chain，文本生成 SQL 任务提供了 SQL Chain，数学计算任务提供了 LLM 选择合适的 Chain 以及模型推理模式来完成任务。 Agents 通过 SQL chain 查询账号余额，通过调用网页查询接口的 LLM 查找实时黄金价格，通过调用 LLM Math 计算能买到的黄金数量完成最终的任务，这一系列的逻辑操作均可以在 Agents
1.2K30编辑于 2023-09-09 LLM 系列（六）：模型推理篇
引言 大型语言模型（LLM）的训练过程虽然耗资巨大且备受关注，但其真正的价值实现，却发生在 推理（Inference） 这一最终环节。 推理是将训练好的模型应用于实际，根据 用户输入（Prompt）生成响应的过程 。无论是驱动一个实时聊天机器人，还是进行离线文档分析，高效、可靠的推理是所有 LLM 应用的基石。 现代主流的生成式 LLM（如 GPT 系列）本质上都是 自回归（Autoregressive） 模型。 对量化模型的优化可能落后于专用框架，单请求低延迟场景非其最强项。 高并发、吞吐量敏感的在线服务。 TensorRT-LLM 压榨 NVIDIA GPU 的极致性能。 • 华为盘古与昇腾 AI：华为盘古大模型（如盘古 7B 和 72B MoE 模型）与昇腾 AI 平台深度绑定，形成模型+AI框架+AI处理器 的完整技术栈 。
3.4K24编辑于 2025-08-04LLM 系列（五）：模型训练篇
0、引言 大语言模型（Large Language Model, LLM）的训练是人工智能领域最复杂、最资源密集的任务之一。 • 能力的源泉：模型的所有能力都来自于训练过程中对数据的学习和参数的优化 • 性能的决定因素：训练质量直接决定了模型在各种任务上的表现 • 成本的主要构成：训练成本占据了LLM开发总成本的70%以上 • 技术的核心壁垒：高效的训练技术是各大AI公司的核心竞争力 本文将从技术原理、实践方法、挑战难点等多个维度，全面解析LLM模型训练的核心技术。 自适应学习率，动量优化 大多数LLM训练 高（2倍参数量） AdamW Adam + 权重衰减解耦 主流LLM优化器 高 Lion 符号操作，内存友好 资源受限场景 中等 LOMO 低内存优化 消费级硬件训练 • 成本效益：找到最优的规模与成本平衡点 • 研发规划：指导下一代模型的设计方向 哲学层面思考 6、最新发展与前沿趋势 强化学习训练的突破 技术创新前沿 未来发展趋势 7、总结 技术本质理解 • 统计学习的力量
1.5K30编辑于 2025-07-02- 来自专栏机器学习入门
【AI大模型】LLM主流开源大模型介绍
学习目标 了解LLM主流开源大模型. 掌握ChatGLM、LLaMA、Bloom等基础大模型的原理 LLM主流大模型类别 随着ChatGPT迅速火爆，引发了大模型的时代变革，国内外各大公司也快速跟进生成式AI市场，近百款大模型发布及应用 年发布的一个开放且高效的大型基础语言模型，共有 7B、13B、33B、65B（650 亿）四种版本。 模型在384 张 NVIDIA A100 80GB GPU上，训练于 2022 年 3 月至 7 月期间，耗时约 3.5 个月完成 (约 100 万计算时)，算力成本超过300万欧元 4.5 模型特点 小结 本小节主要介绍了LLM主流的开源大模型，对不同模型架构、训练目标、优缺点进行了分析和总结。
1.2K10编辑于 2024-09-24 - 来自专栏第一专栏
LLM-TAP随笔——大语言模型基础【深度学习】【PyTorch】【LLM】
2.大语言模型基础 2.1、编码器和解码器架构 这个架构常用于编码器-解码器架构是一种常用于序列到序列（Seq2Seq）任务的深度学习架构。 2.2、注意力机制 2.2.1、注意力机制（Attention） 注意力机制允许模型在处理信息时更加灵活和智能地选择性地关注输入的不同部分，从而提高了模型的性能和表现力。 Feed-Forward Network层任务 考虑注意力机制可能对复杂过程的拟合程度不够, 通过增加两层网络来增强模型的能力。 2.4、BERT 预训练模型：在大规模数据事先训练，然后在特定任务上微调。 拿到预训练好的模型为底座，按照上述流程图去进行特定任务的微调。
90530编辑于 2023-09-26 LLM进阶指南：7大黑科技颠覆认知，提示工程+CoT彻底玩转大模型
#LLM进阶指南：7大黑科技颠覆认知，提示工程+CoT彻底玩转大模型摘要本文深度解析大语言模型（LLM）的七大进阶技术，通过思维链推理（CoT）、结构化提示工程等黑科技突破传统使用边界。 文章包含3个核心架构图、5个实战代码模块及7项技术对比表，涵盖多智能体协作、知识增强推理等前沿实践。 本文将分享这段血泪教训淬炼出的7大进阶术，包含完整代码和架构图，助你突破LLM应用天花板。 ：当检索效率超过模型参数量增长时，1T模型是否仍有必要？ 结语：拥抱不确定性的艺术经过47次客户部署验证，我们领悟到：LLM进阶本质是构建“可控的不确定性”。文中的7大技术不是银弹，而是应对复杂性的工具箱。
24110编辑于 2026-01-07- 来自专栏第一专栏
LLM-TAP随笔——语言模型训练数据【深度学习】【PyTorch】【LLM】
3、语言模型训练数据 数据质量对模型影响非常大。 典型数据处理：质量过滤、冗余去除、隐私消除、词元切分等。 训练数据的构建时间、噪音或有害信息情况、数据重复率等因素都对模型性能有较大影响。 模型卡片（Model Cards）：Hugging Face提倡模型卡片的使用，这是一种文档形式，用于提供有关预训练模型的详细信息、使用案例、性能评估和注意事项。这有助于提高模型的透明度和可解释性。 检查点是模型在训练或生成过程中的某个时间点的保存状态，通常包括模型的权重参数和其他相关信息，以便稍后能够重新加载模型并继续训练或进行推理。 在这种实验中，研究人员有目的地将模型的某些组件或特性删除或禁用，以评估这些组件对模型性能的影响。 思维树(Tree of Thoughts, ToT)：ToT提示是一种允许复杂的、多步骤问题通过LLM来解决的方法。
79750编辑于 2023-09-26 - 来自专栏计算机工具
LLM前言：推理加速、模型微调对齐、开源LLM、Agent、多模态
LLM前言：推理加速、模型微调/对齐、开源LLM、Agent、多模态 推理加速 推理加速是AI技术中的关键环节，能让AI模型在实际应用中更智能、更高效。推理加速技术主要通过算法优化和硬件加速来实现。 模型微调/对齐 模型微调：在已有的预训练模型基础上，通过针对特定任务或行业需求做局部调整，以提升模型在特定领域或任务中的适用性和完成度。微调方法包括全参数微调（FFT）、参数高效微调（PeFT）等。 模型对齐：确保模型的行为、输出与人类的期望、目标和价值观保持一致的过程。模型对齐的主要目标是避免模型做出对人类有害或不符合道德标准的行为。 实现模型对齐的方法包括清理和去偏训练数据、引入特定的目标函数、对模型输出进行调整以及引入人类反馈等。 开源LLM 开源LLM（大型语言模型）是指公开源代码的大型语言模型，允许开发者自由使用、修改和分发。开源LLM的出现降低了AI技术的门槛，促进了AI技术的创新和发展。
40210编辑于 2024-12-14 - 来自专栏NLP/KG
LLM 大模型学习必知必会系列(三)：LLM和多模态模型高效推理实践
LLM 大模型学习必知必会系列(三)：LLM和多模态模型高效推理实践1.多模态大模型推理LLM 的推理流程：多模态的 LLM 的原理：代码演示：使用 ModelScope NoteBook 完成语言大模型 ，视觉大模型，音频大模型的推理环境配置与安装以下主要演示的模型推理代码可在魔搭社区免费实例 PAI-DSW 的配置下运行（显存 24G） ：点击模型右侧 Notebook 快速开发按钮，选择 GPU 环境 ：打开 Python 3 (ipykernel)：示例代码语言大模型推理示例代码#通义千问1_8B LLM大模型的推理代码示例#通义千问1_8B:https://modelscope.cn/models FastChat 的核心功能包括：●优秀的大语言模型训练和评估代码。●具有 Web UI 和 OpenAI 兼容的 RESTful API 的分布式多模型服务系统。 vLLM 是一个由加州伯克利分校、斯坦福大学和加州大学圣迭戈分校的研究人员基于操作系统中经典的虚拟缓存和分页技术开发的 LLM 服务系统。
1.4K10编辑于 2024-05-28 - 来自专栏NLP/KG
LLM 大模型学习必知必会系列(三)：LLM和多模态模型高效推理实践
LLM 大模型学习必知必会系列(三)：LLM和多模态模型高效推理实践 1.多模态大模型推理 LLM 的推理流程： 多模态的 LLM 的原理： 代码演示：使用 ModelScope NoteBook 完成语言大模型 ，视觉大模型，音频大模型的推理 环境配置与安装 以下主要演示的模型推理代码可在魔搭社区免费实例 PAI-DSW 的配置下运行（显存 24G） ： 点击模型右侧 Notebook 快速开发按钮，选择 GPU 环境： 打开 Python 3 (ipykernel)： 示例代码语言大模型推理示例代码 #通义千问1_8B LLM大模型的推理代码示例 #通义千问1_8B:https://modelscope.cn 输出结果： 2. vLLM+FastChat 高效推理实战 FastChat 是一个开放平台，用于训练、服务和评估基于 LLM 的 ChatBot。 vLLM 是一个由加州伯克利分校、斯坦福大学和加州大学圣迭戈分校的研究人员基于操作系统中经典的虚拟缓存和分页技术开发的 LLM 服务系统。
1.2K00编辑于 2024-05-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号