- 综合排序
- 最热优先
- 最新优先
- 来自专栏磐创AI技术团队的专栏
拥有LLM模型
大型语言模型（LLM）越来越显示出其价值。将图像纳入LLMs使它们作为视觉语言模型更加有用。在本文中，我将解释一个名为GIT-LLM的模型的开发，这是一个简单但强大的视觉语言模型。 然而，在本文中，我尝试使用强大的LLM并进行微调。在这里，我称该模型为“GIT-LLM”。 实验2：比较十亿级别的模型 在先前的实验中，微调条件下使用了一个稍小的语言模型OPT-350m。现在，意图是将语言模型切换到一个7B模型。 要使用OPT的7B级模型，只需将模型名称从facebook/opt-350m更改为facebook/opt-6.7b。 对于LLaMA，由于LLaMA2已经可用，它将成为首选模型。 回顾损失，明显可以看出使用LLaMA2和MPT作为LLM的模型显示出更为令人满意的减少。让我们也观察一下推断的结果。 关于第一张图片，对于所有模型，表情似乎比OPT-350m更自然。
58110编辑于 2024-06-06 - 来自专栏MySQL解决方案工程师
大型语言模型LLM
最近在学习OCI的生成式AI相关方面的内容，对相关内容做一下整理，内容涉及LLM基础、LLM架构、提示（Promot）、微调（fine-tuning）、各种模型、OCI的生成式AI、RAG，及向量数据库等等 什么是LLM？ LLM（Large Language Model）是大型语言模型的缩写，语言模型（LM）是一个文本的概率模型。为了能够简单说明该模型，在这里举一个简单的例子。 注意，LLM中第一个L是指模型参数的数量。 按照此时的候选词汇概率高低，LM大概率会选择“狗”填入括号中，如果句子变为“我写信给农场，希望他们送我一个宠物，他们送给我一只小（）”。 LLM中的各种模型具备不同的能力，例如嵌入（emmbedding）/生成（generation），模型的类型不同导致了它们的参数数量不同。 例如，T5，UL2，BART，...。 编码-解码通常用于翻译文本。 下面是一个模型分布图，注意纵轴，参数的数量是成10倍增长的。
55210编辑于 2024-06-14 - 来自专栏产品笔记
大语言模型(LLM)
目前的大语言模型采用与小模型类似的Transformer架构和预训练目标（如 Language Modeling），与小模型的主要区别在于增加模型大小、训练数据和计算资源。 预训练是大语言模型能力的基础。当语言模型的参数量扩展到超千亿级别时，从头预训练一个大语言模型就成为一件十分困难且有挑战的事情。在数据层面，如何收集尽可能多的高质量语料对预训练模型的效果十分关键。 指令微调通过收集指令格式的实例来微调大模型，大大增强了模型遵循人类指令的能力，能够让模型更好地泛化到未知任务。 （2）问答：大型语言模型可以回答用户提出的自然语言问题。例如，可以使用大型语言模型来回答搜索引擎中的用户查询，或者回答智能助手中的用户问题。 03 — 大语言模型的特征 大型通用语言模型可以进行预训练，然后针对特定目标进行微调。 Large（大）：在"大语言模型"的上下文中，"大"主要有两层含义。一方面，它指的是模型的参数数量。
1.8K50编辑于 2023-09-09 - 来自专栏MGS浪疯 Blog
2核2G服务器跑270M LLM模型
本次测试旨在评估在2核2GB内存的服务器上运行轻量级LLM模型的可行性。 测试模型：gemma3:270m测试脚本：https://github.com/lework/llm-benchmark#普通测试结果再次提醒：实际部署中存在诸多变量，结果可能因环境差异而不同，请勿将其视为生产环境的参考依据 100请求1并发粗略总结在2核2GB的服务器上使用Ollama部署gemma3:270m模型，单并发下可稳定完成全部请求（100/100成功）。 :gemma3:270m延迟统计(单位:秒):平均延迟:0.000Traceback(mostrecentcalllast):File"/workspace/llm-benchmark/llm_benchmark.py ",line318,in<module>print_results(results,args.output_format)File"/workspace/llm-benchmark/llm_benchmark.py
32130编辑于 2026-02-07 - 来自专栏xiaosen
LLM主流开源代表模型
LLM主流开源大模型介绍 1 LLM主流大模型类别 随着ChatGPT迅速火爆，引发了大模型的时代变革，国内外各大公司也快速跟进生成式AI市场，近百款大模型发布及应用。 、BELLE、Phoenix、Chimera等） Bloom：衍生的大模型（Bloomz、BELLE、Phoenix等） 2 ChatGLM-6B模型 ChatGLM-6B 是清华大学提出的一个开源 完形填空问题是指在输入文本中用一个特殊的符号（如[MASK]）替换掉一个或多个词，然后训练模型预测被替换掉的词。 GLM的实现思想（训练目标）： 原始文本 x=[x_1, x_2,... 同样，我们可以得到 x_1 的二维位置编码是[1, 0]， x_2 的位置编码是[2, 0]， x_4 的位置编码是[4, 0]。 小结 主要介绍了LLM主流的开源大模型，对不同模型架构、训练目标、优缺点进行了分析和总结。
63710编辑于 2024-06-04 - 来自专栏机器学习
介绍大语言模型（LLM）
介绍大语言模型（LLM）近年来，人工智能（AI）和自然语言处理（NLP）领域取得了显著的进展，其中大语言模型（Large Language Models，简称LLM）成为了引人注目的焦点。 大语言模型是基于深度学习技术训练的，可以理解和生成自然语言文本的AI模型。本文将介绍大语言模型的基本概念、发展历程、应用领域以及未来的潜力。什么是大语言模型？ 大语言模型的发展历程大语言模型的发展可以追溯到早期的语言模型，如N-gram模型和LSTM（长短期记忆网络）。 自Transformer架构提出以来，多个大规模语言模型相继问世，如：GPT（生成预训练变换器）系列：由OpenAI推出的GPT系列模型是最具代表性的LLM之一。 未来的发展方向随着技术的不断进步，大语言模型在未来有望实现更多的突破：模型压缩和优化：通过模型压缩和优化技术，降低大语言模型的计算资源需求，推动其在移动设备和资源受限环境中的应用。
1.3K00编辑于 2024-07-30 - 来自专栏架构师成长之路
大模型llm：Ollama部署llama3学习入门llm
二、Ollama安装 1、Ollama简介 Ollama 是一个开源的大型语言模型（LLM）服务工具，它允许用户在本地机器上运行和部署大型语言模型。 客户端 桌面、Web 命令行工具 数据库工具 包管理工具 类库 2、安装ollama Linux自动安装很简单，直接执行： yum update -y nss curl libcurl curl -fsSL 这里冒号前面代表模型名称，冒号后面代表tag，可以从这里查看llama3的所有tag ollama pull llama3:70b 2、运行llama3模型 ollama run llama3 上述命令将自动拉取模型 2、聊天接口 curl http://localhost:11434/api/chat -d '{ "model": "llama3:70b", "messages": [ { " 2、源码部署： 安装Node.js 支持Ollama的WebUI非常多，笔者体验过热度第一的那个WebUI(github.com/open-webui/…%EF%BC%8C%E9%9C%80%E8%A6%
7K00编辑于 2024-05-24 - 来自专栏xiaosen
LLM-AI大模型介绍
大语言模型 (LLM) 背景 大语言模型 (Large Language Model) 是一种人工智能模型, 它们通常包含数千亿甚至更多的参数，并在大规模数据集上进行训练。 在这个过程中，关键技术的发展推动了模型的演进和性能的提升。 LLM通常建立在Transformer架构之上，这种架构使用了多头注意力机制，能够处理长距离的依赖关系。 这些模型通过堆叠多个注意力层来提高其处理复杂语言任务的能力。 随着模型参数数量的增加，LLM展现出了小模型所不具备的特殊能力，如上下文学习能力和逐步推理能力。 这些能力的涌现使得LLM在多项任务中取得了显著的效果提升。 LLM的训练过程通常包括预训练和微调两个阶段。 LLM的应用产生了深远的影响，例如ChatGPT等模型展现出了强大的人机对话能力和任务求解能力，这对整个AI研究社区产生了重大影响。
65310编辑于 2024-04-20 - 来自专栏DeepHub IMBA
开源大型语言模型(llm)总结
大型语言模型（LLM）是人工智能领域中的一个重要研究方向，在ChatGPT之后，它经历了快速的发展。这些发展主要涉及以下几个方面： 模型规模的增长：LLM的规模越来越大，参数数量显著增加。 此外，还有一些压缩和加速技术，可以在保持性能的同时减少模型的计算资源消耗。 理解和应对偏见：LLM的发展也关注了如何更好地理解和应对模型中的偏见。 位于阿布扎比的技术创新研究所(TII)宣布了其开源大型语言模型(LLM)——Falcon-40B。 模型共28层，模型维数为4096，前馈维数为16384。模型维度被分成16个头，每个头的维度为256。该模型使用50257的标记化词汇表进行训练，使用与GPT-2/GPT-3相同的bp集。 Dolly Databricks的Dolly-V2-12B，一个在Databricks机器学习平台上训练的大型语言模型。
76542编辑于 2023-08-30 什么是大语言模型（LLM）
大语言模型（LargeLanguageModel，简称LLM）是一种旨在理解和生成人类语言的人工智能模型。 1.定义与基本原理大语言模型是一种基于深度学习的自然语言处理模型。其“大”主要体现在两个方面：参数规模大：模型包含数十亿至数千亿的可调节参数，用以学习语言数据中的细微模式和复杂关系。 2.训练方式大语言模型的训练通常分为两个关键阶段：阶段核心目标数据与方式预训练让模型学习通用的语言知识和世界知识。在包含数千亿词汇的庞大数据集上进行无监督学习。 4.常见的大语言模型例子以下是一些具有代表性和影响力的大语言模型：模型名称开发机构主要特点GPT系列OpenAI最具代表性的自回归语言模型系列。 5.面临的挑战与局限尽管能力强大，大语言模型的发展仍面临若干显著挑战：巨大的资源消耗：训练顶级LLM需要庞大的计算集群和巨额电力，导致极高的经济成本和环境足迹，这使得其研发主要集中于少数大型科技机构。
76910编辑于 2026-03-03- 来自专栏喔家ArchiSelf
解读大模型（LLM）的token
大型语言模型(LLM)不能真正理解原始文本，相反，文本被转换为称为token的数字表示形式，然后将这些token提供给模型进行处理。 token 在区块链中代表是通证或者代币，那么token在LLM中代表的是什么呢？ 1. 什么是token？ 在 LLM 中，token代表模型可以理解和生成的最小意义单位，是模型的基础单元。 2. token 的特点 我们可以先用OpenAI 的playground 来看一个例子“Dec 31,1993. Things are getting crazy.” 例如，截至2023年2月，使用 Davinci 的费率为每1000个令牌0.06美元，而使用 Ada 的费率为每1000个令牌0.0008美元。 ="text-davinci-002", n=2, best_of=2) with get_openai_callback() as cb: result = llm("给我讲个笑话吧")
20.6K51编辑于 2023-10-08 LLM 系列（五）：模型训练篇
0、引言 大语言模型（Large Language Model, LLM）的训练是人工智能领域最复杂、最资源密集的任务之一。 • 能力的源泉：模型的所有能力都来自于训练过程中对数据的学习和参数的优化 • 性能的决定因素：训练质量直接决定了模型在各种任务上的表现 • 成本的主要构成：训练成本占据了LLM开发总成本的70%以上 • 技术的核心壁垒：高效的训练技术是各大AI公司的核心竞争力 本文将从技术原理、实践方法、挑战难点等多个维度，全面解析LLM模型训练的核心技术。 1、LLM 训练基本流程 整体训练管道 阶段一：预训练（Pre-training） 核心目标 技术特点 1、学习通用语言表示2、掌握基础语言模式3、建立世界知识基础4、形成语言生成能力 1、自监督学习方式 自适应学习率，动量优化 大多数LLM训练 高（2倍参数量） AdamW Adam + 权重衰减解耦 主流LLM优化器 高 Lion 符号操作，内存友好 资源受限场景 中等 LOMO 低内存优化 消费级硬件训练
1.5K30编辑于 2025-07-02LLM 系列（六）：模型推理篇
现代主流的生成式 LLM（如 GPT 系列）本质上都是 自回归（Autoregressive） 模型。 在推理阶段，模型需要处理的主要计算包括： • 1、嵌入层计算：将输入 token 转换为向量表示 • 2、多头自注意力：计算 Query、Key、Value 矩阵 • 3、前馈网络：进行非线性变换 • 这个过程形成了一个循环： • 1、模型接收当前序列作为输入。 • 2、预测词汇表中每个词成为下一个 token 的概率分布。 • 3、通过采样策略（如贪心采样、核采样等）选择一个 token。 如果 草稿 被接受，系统就能在一次目标模型调用中确认多个 token，从而将端到端延迟降低 2-3 倍，且不损失任何模型质量 。 MoE 模型在每次推理时只激活一小部分参数，从根本上降低了单次推理的计算和内存成本。 2.
3.4K24编辑于 2025-08-04- 来自专栏产品笔记
大语言模型（LLM）LangChain介绍
LangChain是一个利用大语言模型的能力开发各种下游应用的开源框架，它的核心理念是为各种大语言模型应用实现通用的接口，简化大语言模型应用的开发难度，主要的模块示意图为： Index：提供了各类文档导入 Models：提供了对各类大语言模型的管理和集成，除闭源的大语言模型 API 接口外，还提供对多个开源模型仓库中开源大语言模型的集成接口，以及在云上部署的大语言模型接口。 ，如问答任务提供了 Question Answering Chain，文本摘要任务提供了 Summarization Chain，文本生成 SQL 任务提供了 SQL Chain，数学计算任务提供了 LLM Agents 通过 SQL chain 查询账号余额，通过调用网页查询接口的 LLM 查找实时黄金价格，通过调用 LLM Math 计算能买到的黄金数量完成最终的任务，这一系列的逻辑操作均可以在 Agents LIamaIndex 支持与 LangChain 集成，2 个框架可以互相调用。
1.2K30编辑于 2023-09-09 - 来自专栏机器学习入门
【AI大模型】LLM主流开源大模型介绍
学习目标 了解LLM主流开源大模型. 掌握ChatGLM、LLaMA、Bloom等基础大模型的原理 LLM主流大模型类别 随着ChatGPT迅速火爆，引发了大模型的时代变革，国内外各大公司也快速跟进生成式AI市场，近百款大模型发布及应用 假设原始文本是 x=[x_1, x_2,...,x_6]，其中[x_3]和 [x_5,x_6] 被挖去。 同样，我们可以得到x_1的二维位置编码是[1, 0]， x_2的位置编码是[2, 0]， x_4的位置编码是[4, 0]。 小结 本小节主要介绍了LLM主流的开源大模型，对不同模型架构、训练目标、优缺点进行了分析和总结。
1.2K10编辑于 2024-09-24 - 来自专栏第一专栏
LLM-TAP随笔——大语言模型基础【深度学习】【PyTorch】【LLM】
2.大语言模型基础 2.1、编码器和解码器架构 这个架构常用于编码器-解码器架构是一种常用于序列到序列（Seq2Seq）任务的深度学习架构。 2.2、注意力机制 2.2.1、注意力机制（Attention） 注意力机制允许模型在处理信息时更加灵活和智能地选择性地关注输入的不同部分，从而提高了模型的性能和表现力。 预训练任务2：下一句子预测，预测一个句子对中两个句子是不是相邻。 拿到预训练好的模型为底座，按照上述流程图去进行特定任务的微调。 wn D:下游任务标注数据集 2.6、LLaMA 模型结构图 前置层归一化（Pre-normalization） 整体 Transformer 架构与 GPT-2 类似 RMSNorm 归一化函数
90530编辑于 2023-09-26 - 来自专栏第一专栏
LLM-TAP随笔——语言模型训练数据【深度学习】【PyTorch】【LLM】
3、语言模型训练数据 数据质量对模型影响非常大。 典型数据处理：质量过滤、冗余去除、隐私消除、词元切分等。 训练数据的构建时间、噪音或有害信息情况、数据重复率等因素都对模型性能有较大影响。 2. 全词切分为词元以及词元合并为全词的方法 输入词序列全词切分，对照词表按词元从长到短顺序遍历匹配。 合成全词时，词元表示失败部分视作未登录词，赋予相同表示。 BPE词元分析算法（GPT-2，BART，LLaMA） 将字节视为合并的基本符号。 Tips： R^d ：表示d维度张向量空间。 R^{d × m} ： d ×m 的实数矩阵的空间。 模型卡片（Model Cards）：Hugging Face提倡模型卡片的使用，这是一种文档形式，用于提供有关预训练模型的详细信息、使用案例、性能评估和注意事项。这有助于提高模型的透明度和可解释性。 思维树(Tree of Thoughts, ToT)：ToT提示是一种允许复杂的、多步骤问题通过LLM来解决的方法。
79750编辑于 2023-09-26 - 来自专栏计算机工具
LLM前言：推理加速、模型微调对齐、开源LLM、Agent、多模态
LLM前言：推理加速、模型微调/对齐、开源LLM、Agent、多模态 推理加速 推理加速是AI技术中的关键环节，能让AI模型在实际应用中更智能、更高效。推理加速技术主要通过算法优化和硬件加速来实现。 模型微调/对齐 模型微调：在已有的预训练模型基础上，通过针对特定任务或行业需求做局部调整，以提升模型在特定领域或任务中的适用性和完成度。微调方法包括全参数微调（FFT）、参数高效微调（PeFT）等。 模型对齐：确保模型的行为、输出与人类的期望、目标和价值观保持一致的过程。模型对齐的主要目标是避免模型做出对人类有害或不符合道德标准的行为。 实现模型对齐的方法包括清理和去偏训练数据、引入特定的目标函数、对模型输出进行调整以及引入人类反馈等。 开源LLM 开源LLM（大型语言模型）是指公开源代码的大型语言模型，允许开发者自由使用、修改和分发。开源LLM的出现降低了AI技术的门槛，促进了AI技术的创新和发展。
40210编辑于 2024-12-14 - 来自专栏NLP/KG
LLM 大模型学习必知必会系列(三)：LLM和多模态模型高效推理实践
LLM 大模型学习必知必会系列(三)：LLM和多模态模型高效推理实践1.多模态大模型推理LLM 的推理流程：多模态的 LLM 的原理：代码演示：使用 ModelScope NoteBook 完成语言大模型 ，视觉大模型，音频大模型的推理环境配置与安装以下主要演示的模型推理代码可在魔搭社区免费实例 PAI-DSW 的配置下运行（显存 24G） ：点击模型右侧 Notebook 快速开发按钮，选择 GPU 环境 ：打开 Python 3 (ipykernel)：示例代码语言大模型推理示例代码#通义千问1_8B LLM大模型的推理代码示例#通义千问1_8B:https://modelscope.cn/models #第二轮对话 2nd dialogue turnresponse, history = model.chat(tokenizer, "给我讲一个年轻人奋斗创业最终取得成功的故事。" says: "mister quilter is the apostle of the middle classes and we are glad to welcome his gospel".# 2nd
1.4K10编辑于 2024-05-28 - 来自专栏NLP/KG
LLM 大模型学习必知必会系列(三)：LLM和多模态模型高效推理实践
LLM 大模型学习必知必会系列(三)：LLM和多模态模型高效推理实践 1.多模态大模型推理 LLM 的推理流程： 多模态的 LLM 的原理： 代码演示：使用 ModelScope NoteBook 完成语言大模型 ，视觉大模型，音频大模型的推理 环境配置与安装 以下主要演示的模型推理代码可在魔搭社区免费实例 PAI-DSW 的配置下运行（显存 24G） ： 点击模型右侧 Notebook 快速开发按钮，选择 GPU 环境： 打开 Python 3 (ipykernel)： 示例代码语言大模型推理示例代码 #通义千问1_8B LLM大模型的推理代码示例 #通义千问1_8B:https://modelscope.cn #第二轮对话 2nd dialogue turn response, history = model.chat(tokenizer, "给我讲一个年轻人奋斗创业最终取得成功的故事。" 输出结果： 2. vLLM+FastChat 高效推理实战 FastChat 是一个开放平台，用于训练、服务和评估基于 LLM 的 ChatBot。
1.2K00编辑于 2024-05-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号