- 综合排序
- 最热优先
- 最新优先
- 来自专栏产品笔记
大语言模型(LLM)
最近，作为代表性的大语言模型应用ChatGPT展现出了超强的人机对话能力和任务求解能力，对于整个AI研究社区带来了重大影响。01 — 什么是大语言模型？ 预训练是大语言模型能力的基础。当语言模型的参数量扩展到超千亿级别时，从头预训练一个大语言模型就成为一件十分困难且有挑战的事情。在数据层面，如何收集尽可能多的高质量语料对预训练模型的效果十分关键。 （4）文本生成：大型语言模型可以使用先前学习的模式和结构来生成新的文本。例如，可以使用大型语言模型来生成诗歌、短故事、或者以特定主题的文章。 03 — 大语言模型的特征 大型通用语言模型可以进行预训练，然后针对特定目标进行微调。 Large（大）：在"大语言模型"的上下文中，"大"主要有两层含义。一方面，它指的是模型的参数数量。 在这些模型中，参数的数量通常会非常大，达到数十亿甚至数百亿。这使得模型能够学习和表示非常复杂的模式。另一方面，"大"也指的是训练数据的规模。
1.8K50编辑于 2023-09-09 - 来自专栏NewBeeNLP
LLM4Rec：当推荐系统遇到大语言模型
大模型LLM在越来越多的领域开始崭露头角，前段时间我们整理了大模型在推荐系统中的应用 survey，当时留了一些坑没填上，今天补上。 FT OR NOT FT 上文是从『Where』的角度对 LLM4RS 工作进行整理，下面从『How』的角度看，大模型如何应用。 【没有找到很多资料，欢迎推荐补充~】 LLM 在电商推荐系统的探索与实践 利用大模型的知识和推理能力，提高推荐模型对商品信息、上下文、用户行为序列的知识表达。 商品文本语义表征：通过设计prompt调用LLM（通义千问模型）对商品标题/CPV属性等进行正则化；作为特征引入精排模型 LLM-Based 长文档推荐 通过prompt，利用大模型的总结和推理能力 对长文档进行总结 A Fairness Evaluation Benchmark for Recommendation with Large Language Model 大模型安全问题： GPT4 technical
4.7K11编辑于 2024-01-17 - 来自专栏机器学习
介绍大语言模型（LLM）
介绍大语言模型（LLM）近年来，人工智能（AI）和自然语言处理（NLP）领域取得了显著的进展，其中大语言模型（Large Language Models，简称LLM）成为了引人注目的焦点。 大语言模型是基于深度学习技术训练的，可以理解和生成自然语言文本的AI模型。本文将介绍大语言模型的基本概念、发展历程、应用领域以及未来的潜力。什么是大语言模型？ 大语言模型的发展历程大语言模型的发展可以追溯到早期的语言模型，如N-gram模型和LSTM（长短期记忆网络）。 自Transformer架构提出以来，多个大规模语言模型相继问世，如：GPT（生成预训练变换器）系列：由OpenAI推出的GPT系列模型是最具代表性的LLM之一。 大语言模型的优势和挑战大语言模型具有许多优势，但也面临一些挑战：优势高效的学习能力：大语言模型能够从海量数据中学习语言模式，捕捉复杂的语言关系和结构。
1.3K00编辑于 2024-07-30 - 来自专栏机器学习入门
【AI大模型】LLM主流开源大模型介绍
学习目标 了解LLM主流开源大模型. 掌握ChatGLM、LLaMA、Bloom等基础大模型的原理 LLM主流大模型类别 随着ChatGPT迅速火爆，引发了大模型的时代变革，国内外各大公司也快速跟进生成式AI市场，近百款大模型发布及应用 目前，市面上已经开源了各种类型的大语言模型，本章节我们主要介绍其中的三大类： ChatGLM-6B：衍生的大模型（wenda、ChatSQL等） LLaMA：衍生的大模型（Alpaca、Vicuna 显存（推理） 最低GPU显存（高效参数微调） FP16(无量化) 13GB 14GB INT8 10GB 9GB INT4 6GB 7GB 2.5 模型特点 优点： 较低的部署门槛： INT4 精度下 小结 本小节主要介绍了LLM主流的开源大模型，对不同模型架构、训练目标、优缺点进行了分析和总结。
1.2K10编辑于 2024-09-24 - 来自专栏xiaosen
LLM-AI大模型介绍
大语言模型 (LLM) 背景 大语言模型 (Large Language Model) 是一种人工智能模型, 它们通常包含数千亿甚至更多的参数，并在大规模数据集上进行训练。 这些能力的涌现使得LLM在多项任务中取得了显著的效果提升。 LLM的训练过程通常包括预训练和微调两个阶段。 大模型走向对话式、生成式、多模态时代，更加注重与人类交互进行对齐，实现可靠、安全、无毒的模型。 典型代表是InstructionGPT、ChatGPT、Bard、GPT-4等。 语言模型通俗理解：用来计算一个句子的概率的模型，也就是判断一句话是否是人话的概率 。 大语言模型：大规模语言模型（Large Language Model, LLM）通常拥有数十亿到数万亿个参数，能够处理各种自然语言处理任务，如自然语言生成、文本分类、文本摘要、机器翻译、语音识别等。
65310编辑于 2024-04-20 什么是大语言模型（LLM）
大语言模型（LargeLanguageModel，简称LLM）是一种旨在理解和生成人类语言的人工智能模型。 1.定义与基本原理大语言模型是一种基于深度学习的自然语言处理模型。其“大”主要体现在两个方面：参数规模大：模型包含数十亿至数千亿的可调节参数，用以学习语言数据中的细微模式和复杂关系。 2.训练方式大语言模型的训练通常分为两个关键阶段：阶段核心目标数据与方式预训练让模型学习通用的语言知识和世界知识。在包含数千亿词汇的庞大数据集上进行无监督学习。 4.常见的大语言模型例子以下是一些具有代表性和影响力的大语言模型：模型名称开发机构主要特点GPT系列OpenAI最具代表性的自回归语言模型系列。 5.面临的挑战与局限尽管能力强大，大语言模型的发展仍面临若干显著挑战：巨大的资源消耗：训练顶级LLM需要庞大的计算集群和巨额电力，导致极高的经济成本和环境足迹，这使得其研发主要集中于少数大型科技机构。
78910编辑于 2026-03-03- 来自专栏喔家ArchiSelf
解读大模型（LLM）的token
为了突破 LLM 的极限，可以尝试不同的训练和微调方法，并使用不同的解码策略。请注意这些模型的优缺点，并始终确保用例与正在使用的模型功能保持一致。 4. LLM应用中token 的使用 我们需要知道当前任务的token 使用状况，然后，面对大模型的token长度限制，可以尝试一些解决方案 5.1 token 的使用状态 这里采用OpenAI 的API ， 中 token 的长度限制与应对 像 GPT-3/4，LLaMA等这样的大模型有一个最大token 数量限制，超过这个限制，它们就不能接受输入或生成输出。 如何构建基于大模型的App Qcon2023: 大模型时代的技术人成长（简） 论文学习笔记：增强学习应用于OS调度 《深入浅出Embedding》随笔 LLM的工程实践思考 解读大模型的微调 解读ChatGPT 中的RLHF 解读Toolformer 解读TaskMatrix.AI 解读LangChain 浅析多模态机器学习 Agent 与对象的辨析 深度学习架构的对比分析 老码农眼中的大模型（LLM） 系统学习大模型的
20.6K51编辑于 2023-10-08 - 来自专栏产品笔记
大语言模型（LLM）LangChain介绍
LangChain是一个利用大语言模型的能力开发各种下游应用的开源框架，它的核心理念是为各种大语言模型应用实现通用的接口，简化大语言模型应用的开发难度，主要的模块示意图为： Index：提供了各类文档导入 通过 Index 模块，非常容易处理各类型的外部数据，来提供给大模型进行推理。 Prompts：将用户输入和其他外部数据转化为适合大语言模型的提示词，包括提示词管理、提示词优化和提示词序列化等功能。 ，通过提示词不断探索大语言模型的能力边界，LangChain 提供了一个易用的提示词管理工具。 Models：提供了对各类大语言模型的管理和集成，除闭源的大语言模型 API 接口外，还提供对多个开源模型仓库中开源大语言模型的集成接口，以及在云上部署的大语言模型接口。 Agents 通过 SQL chain 查询账号余额，通过调用网页查询接口的 LLM 查找实时黄金价格，通过调用 LLM Math 计算能买到的黄金数量完成最终的任务，这一系列的逻辑操作均可以在 Agents
1.2K30编辑于 2023-09-09 - 来自专栏素质云笔记
大模型幻觉（LLM Hallucination）若干记录
主要参考：大模型的幻觉问题调研: LLM Hallucination Survey 1 幻觉定义 当模型生成的文本不遵循原文（Faithfulness）或者不符合事实（Factualness），我们就可以认为模型出现了幻觉的问题 Reference-Free 基于IE：将知识限定于可以用三元组形式表示的关系和事件，基于额外的IE模型进行抽取，接着使用额外模型进行验证。 人工评估：目前为止最靠谱的，此外还可以依靠LLM打分（比如利用GPT4，但是GPT4也存在着严重的幻觉问题，即使经过retrival-augment，检索回来的信息也有可能是错误的） 3 如何解决 构建高质量数据集 后处理：设计一个小模型专门用于fix幻觉错误。 Augment Generation（Retrieval Augment Generation - 让幻觉不再继续（一））： Retrieval Augment Generation有两个重要的组成部分，预训练大模型和领域知识库
1.3K40编辑于 2023-07-25 - 来自专栏一乐来了
使用大模型LLM实现销售AI
那么在AI2.0时代，大型语言模型LLM的时代，这个问题怎么样了呢？ 销售AI的核心挑战 客服到销售角色的转变 将客服职能转变为销售功能一直是个大挑战。 典型的智能应用（ChatAI）架构方案 一个典型的智能应用架构，是以大模型LLM驱动，聊天为入口，使用Agent智能插件能力驱动API服务： 智能应用（ChatAI）架构 以大模型LLM为核心 大型语言模型 4. 持续沟通 很多时候，客户对自己的需求都是在了解产品的过程中逐渐清晰，所以需要我们持续沟通，介绍产品的优势或者了解客户更多画像信息，都会有助于他们选择我们。 4. 联系人姓名 示例：“能否告知您的姓名，方便我们保持联系。” 5. 手机号码 示例：“如果您希望电话沟通，还请留下您的电话号码，或者，你可以考虑选择其他联系方式。” 6. 我们会持续分享关于智能聊天ChatAI、大模型技术进展、AI Agent设计等方面的内容，
58710编辑于 2025-05-23 - 来自专栏数字孪生元宇宙
MLC LLM - 手机上的大模型
MLC LLM 是一种通用解决方案，它允许将任何语言模型本地部署在各种硬件后端和本地应用程序上，此外还提供了一个高效的框架，供每个人根据自己的用例进一步优化模型性能。 图片1、什么是 MLC LLM？近年来，生成式人工智能 (AI) 和大型语言模型 (LLM) 取得了显着进步，并变得越来越普遍。 由于开源计划，现在可以使用开源模型开发个人AI助手。 但是，LLM 往往是资源密集型和计算要求高的。 要创建可扩展的服务，开发人员可能需要依赖强大的集群和昂贵的硬件来运行模型推理。 此外，部署 LLM 还面临一些挑战，例如不断发展的模型创新、内存限制以及对潜在优化技术的需求。 ----原文链接：MLC LLM - 手机大模型 - BimAnt
1.4K30编辑于 2023-05-07 - 来自专栏人工智能
(LLM系列)什么是大语言模型？
(LLM系列)什么是大语言模型？人工智能正在改变我们与技术互动的方式。 大语言模型（Large Language Model，简称 LLM）作为 AI 领域最具突破性的技术之一，已经从研究实验室走向了日常应用。 无论是 ChatGPT、Claude 还是 Gemini，这些工具都基于同一核心技术——大语言模型。本文将深入探讨 LLM 的工作原理，并帮助您了解如何选择最适合您需求的模型。一、什么是大语言模型？ 市场上有多款优秀的大语言模型，每款都有其独特优势。 以下是三大主流模型的详细对比：特性 GPT-4 Claude Gemini
71510编辑于 2026-01-30 - 来自专栏时空探索之旅
AAAI 2024 | 大模型（LLM）论文总结
大语言模型作为近期最火热的研究点，热度至今居高不下。特别是近期，arxiv上每个月都发表很多关于大语言模型的文章。对此，我只想吐槽一句，根本读不完。 倒不如来看看在AAAI-2024会议上关于大语言模型的研究工作。经过"老字号"AAAI会议审核过的，质量是杠杠的。 4. （LLM）耗时耗力，因此医学领域出现了各种医学大语言模型（LLM），这凸显了对统一评估标准的需求。 我们分析了不同大型语言模型在 RAG 所需的 4 项基本能力方面的表现，包括噪声鲁棒性、负排斥、信息整合和反事实鲁棒性。
1.8K10编辑于 2024-11-19 - 来自专栏Java技术
AI技术和大模型技术LLM
-CoderOilStation(程序员编程助手科技股份有限责任公司)AI技术和大模型技术LLM人工智能技术AI是美国高等院校哈佛大学的一种原型框架技术。AI技术西方和全球的部署研发和运用。 美国麻省理工学院MIT会同步不同的领域模型驱动技术DDD(DomainDrivenDesign)。领域模型驱动技术西方发达社会更注重不同想法和设计的美学应用。 私有用户和公众的开放平台用户一小一大意味着平台的设计开始运行正常。大模型LLM(LargeLanguageModel)模型开放基础框架的模型搭建方式。很多的应用逻辑都是有编程范式和编程方法学。
22210编辑于 2026-03-08 - 来自专栏架构师成长之路
大模型llm：Ollama部署llama3学习入门llm
Llama3大型模型则达到400B，仍在训练中，目标是实现多模态、多语言的功能，预计效果将与GPT 4/GPT 4V相当。 二、Ollama安装 1、Ollama简介 Ollama 是一个开源的大型语言模型（LLM）服务工具，它允许用户在本地机器上运行和部署大型语言模型。 \n\n**Korean:** 《Meta Llama 3》：현재 가장 강력한 공개 사용 가능한 LLM\n\n**Japanese:**\n\n《Meta Llama 3》：現在最強の公開使用可能 なLLM\n\n\n\nNote: (Meta Llama 3) is a literal translation, as there is no direct equivalent for \"Meta B8%94%E9%95%9C%E5%83%8F%E4%B9%9F%E5%B7%AE%E4%B8%8D%E5%A4%9A1G%E3%80%82) 本文推荐使用ollama-webui-lite(github.com
7K00编辑于 2024-05-24 - 来自专栏CSDNToQQCode
大语言模型LLM中的幻觉
LLM是什么? 大型语言模型（LLM）是一种基于自然语言处理和机器学习技术的大型语言处理模型。它能够理解和生成自然语言文本，并能够处理各种语言和文本类型，如对话、问答、文本生成等。 同时，LLM也面临着一些挑战，如模型的可解释性、安全性和隐私问题等。 幻觉 由ChatGPT带来的大模型时代，国内外各大厂家都在陆续推出自己的大模型，然而目前大模型都存在一个普遍的现象就是：幻觉。 事实幻觉 事实不一致，当问AI：如何解决大模型的幻觉问题，话题是：幻觉可以说早就已经是LLM老生常谈的问题了，那为什么会产生这个现象该如何解决这个问题呢？ 附： 解决大模型对话中的幻觉问题，可以考虑以下几个方面： 数据增强：通过在输入数据中添加噪声或随机性，增加模型的泛化能力，减少幻觉问题。 例如，在文本生成过程中，可以通过随机插入停用词、改变词序、使用伪词等技术，使模型在训练过程中更加鲁棒。 模型微调：针对特定任务，对预训练大模型进行微调，使其更好地适应特定领域。
49010编辑于 2024-01-02 - 来自专栏机器学习AI算法工程
ChatIE（LLM大模型用于信息抽取）
利用ChatGPT实现零样本信息抽取（Information Extraction，IE），看到零样本就能大概明白这篇文章将以ChatGPT作为一个基座然后补全前后端，来实现抽取任务。主要针对抽取中的三个重要任务：
1.6K10编辑于 2023-10-28 - 来自专栏时空探索之旅
AI论文速读 | 【综述】（LLM4TS）大语言模型用于时间序列
详细介绍了各种方法，包括（1）LLM的直接提示，（2）时间序列量化，（3）对齐技术，（4）利用视觉模态作为桥梁机制，以及（5）LLM与工具的结合 。 LLM4TS研究分类（左）及相关论文（右） A: 这篇论文提到了多项与大型语言模型（LLMs）在时间序列分析中的应用相关的研究。 Github仓库 该仓库维护了目前有关LLM4TS的相关论文，按照5个分类进行了分门别类。 分别记录了他们的：发表日期，论文名称，机构，会议/期刊，领域，任务和模型架构 提示 量化 对齐 视觉桥梁 工具 多模态数据集 “圆圆的算法笔记”公众号解读：NLP大模型如何应用到时间序列？ 5类方法大汇总！ 如果觉得有帮助还请分享，在看，点赞
87210编辑于 2024-11-19 - 来自专栏第一专栏
LLM-TAP随笔——大语言模型基础【深度学习】【PyTorch】【LLM】
2.大语言模型基础 2.1、编码器和解码器架构 这个架构常用于编码器-解码器架构是一种常用于序列到序列（Seq2Seq）任务的深度学习架构。 2.2、注意力机制 2.2.1、注意力机制（Attention） 注意力机制允许模型在处理信息时更加灵活和智能地选择性地关注输入的不同部分，从而提高了模型的性能和表现力。 Feed-Forward Network层任务 考虑注意力机制可能对复杂过程的拟合程度不够, 通过增加两层网络来增强模型的能力。 2.4、BERT 预训练模型：在大规模数据事先训练，然后在特定任务上微调。 拿到预训练好的模型为底座，按照上述流程图去进行特定任务的微调。
90530编辑于 2023-09-26 - 来自专栏NewBeeNLP
LLM 盛行，如何优雅地训练大模型？
不论是学术界还是工业界，都有训练大模型来优化下游任务的需求。 本篇博文主要整理一系列大模型在训练和推理两个阶段的优化技术，以满足我们在有限的计算资源的条件下训练自己的大模型，下面列出本文主要介绍的一些优化技术： 混合精度训练 ：FP16+FP32 或 BF16+ 在介绍优化技术之前，首先介绍一下如何评估大模型的算力。 众所周知，现如今的预训练语言模型均是基于Transformer结构实现的，因此大模型的参数主要来源于Transformer的Self-Attention部分。 基于ZeRO在训练过程中的原理，有博主分享比较精妙的图，来源于[多图，秒懂]如何训练一个“万亿大模型”？[2]。
3.1K30编辑于 2023-09-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号