- 综合排序
- 最热优先
- 最新优先
- 来自专栏时空探索之旅
WWW 2026 | LLM×Graph论文总结【LLM4Graph & Graph4LLM】
笔者将LLM和Graph结合的工作分为两大类，一类是LLM4Graph，即LLM做图任务。 其中细分了：文本属性图（Text-attributed Graph, TAG）,知识图谱（KG），图基础模型（GFM）。另外一类是利用Graph4LLM，即利用图这种格式来增强LLM的能力。 LLM4Graph1. A Graph Foundation Model for Unified Anomaly Detection2. Disentangled Graph LLM for Molecule Graph Editing under Distribution Shifts4. ，RAG 推荐阅读 ICLR 2026 | LLM×Graph论文总结【LLM4Graph与Graph4LLM】 ICLR 2026 | Rebuttal前 图基础模型(GFM)&文本属性图(TAG)高分论文
31410编辑于 2026-03-10 - 来自专栏时空探索之旅
ICLR 2026 | LLM×Graph论文总结【LLM4Graph与Graph4LLM】
观察：LLM Graph统计值 最大均分 均值 最小均分 6 5.21 4 其中均分≥6的有4篇，其中。 笔者将LLM和Graph结合的工作分为两大类，一类是LLM4Graph，即LLM做图任务。 其中细分了：文本属性图（Text-Attributed Graph, TAG）,知识图谱（KG），图基础模型（GFM）,AI4Science，图上的推理和理解任务。 另外一类是利用Graph4LLM，即利用图结构来增强LLM的能力。 LLM4Graph & TAG1. LLM4Graph & KG 4 DAMR: Efficient and Adaptive Context-Aware Knowledge Graph Question Answering with LLM-Guided 6, 4, 6 信心：3, 2, 5, 3 均分：5.0 推荐阅读 ICLR 2026 | Rebuttal前 图基础模型(GFM)&文本属性图(TAG)高分论文 AAAI 2026 | 图基础模型(
37210编辑于 2026-03-10 - 来自专栏磐创AI技术团队的专栏
拥有LLM模型
介绍如何使用LoRA对GIT-LLM模型进行微调。 测试和讨论已开发的模型。 调查由GIT的图像编码器嵌入的“图像嵌入”是否指示与“文本嵌入”相同空间中的特定字符。 大型语言模型（LLM）越来越显示出其价值。将图像纳入LLMs使它们作为视觉语言模型更加有用。在本文中，我将解释一个名为GIT-LLM的模型的开发，这是一个简单但强大的视觉语言模型。 然而，在本文中，我尝试使用强大的LLM并进行微调。在这里，我称该模型为“GIT-LLM”。 不仅仅满足于OPT，还将引入更强大的LLM，LLaMA和MPT。 整合这两个模型可以以与OPT类似的方式完成。 最后，让我们对与GPT-4一起变得流行的图像进行推理。 尽管由于使用了LLM，预计会有流利的响应，但结果却相当简单。这可能是因为该模型仅在COCO上进行了训练。 实验3.
58110编辑于 2024-06-06 - 来自专栏NewBeeNLP
LLM4Rec：当推荐系统遇到大语言模型
FT OR NOT FT 上文是从『Where』的角度对 LLM4RS 工作进行整理，下面从『How』的角度看，大模型如何应用。 ； Quadrant-2：和 Quadrant-1 比较像，不过使用了更大的语言模型，功能也不再局限于仅提供语义特征；比如更多的世界知识、推理能力、总结能力； Quadrant-4：通过对 LLM 的推荐数据训练 4. 业界尝试 ChatGPT的风毫无疑问吹到了各大厂，"ALL IN LLM"成了最热话题。 从公开分享资料上看业界各厂对LLM在搜推广的应用与落地。 LLM 只是 general knowledge 很强，有两种方式引入专业知识 引入传统推荐模型进行 serving 微调 LLM LLM 是否越大越好？还是一定规模的模型已经足够？ https://github.com/CHIANGEL/Awesome-LLM-for-RecSys https://github.com/WLiK/LLM4Rec-Awesome-Papers
4.7K11编辑于 2024-01-17 - 来自专栏MySQL解决方案工程师
大型语言模型LLM
最近在学习OCI的生成式AI相关方面的内容，对相关内容做一下整理，内容涉及LLM基础、LLM架构、提示（Promot）、微调（fine-tuning）、各种模型、OCI的生成式AI、RAG，及向量数据库等等 什么是LLM？ LLM（Large Language Model）是大型语言模型的缩写，语言模型（LM）是一个文本的概率模型。为了能够简单说明该模型，在这里举一个简单的例子。 注意，LLM中第一个L是指模型参数的数量。 按照此时的候选词汇概率高低，LM大概率会选择“狗”填入括号中，如果句子变为“我写信给农场，希望他们送我一个宠物，他们送给我一只小（）”。 LLM中的各种模型具备不同的能力，例如嵌入（emmbedding）/生成（generation），模型的类型不同导致了它们的参数数量不同。 解码 Decoder 模型用于接收连续的词汇并输出下一个词汇。例如，GPT-4，Llama，BLOOM，Falcon，...。 解码主要用于生成文本，聊天模型等等。
55210编辑于 2024-06-14 - 来自专栏产品笔记
大语言模型(LLM)
目前的大语言模型采用与小模型类似的Transformer架构和预训练目标（如 Language Modeling），与小模型的主要区别在于增加模型大小、训练数据和计算资源。 预训练是大语言模型能力的基础。当语言模型的参数量扩展到超千亿级别时，从头预训练一个大语言模型就成为一件十分困难且有挑战的事情。在数据层面，如何收集尽可能多的高质量语料对预训练模型的效果十分关键。 指令微调通过收集指令格式的实例来微调大模型，大大增强了模型遵循人类指令的能力，能够让模型更好地泛化到未知任务。 （4）文本生成：大型语言模型可以使用先前学习的模式和结构来生成新的文本。例如，可以使用大型语言模型来生成诗歌、短故事、或者以特定主题的文章。 03 — 大语言模型的特征 大型通用语言模型可以进行预训练，然后针对特定目标进行微调。 Large（大）：在"大语言模型"的上下文中，"大"主要有两层含义。一方面，它指的是模型的参数数量。
1.8K50编辑于 2023-09-09 - 来自专栏xiaosen
LLM主流开源代表模型
LLM主流开源大模型介绍 1 LLM主流大模型类别 随着ChatGPT迅速火爆，引发了大模型的时代变革，国内外各大公司也快速跟进生成式AI市场，近百款大模型发布及应用。 同样，我们可以得到 x_1 的二维位置编码是[1, 0]， x_2 的位置编码是[2, 0]， x_4 的位置编码是[4, 0]。 显存（推理） 最低GPU显存（高效参数微调） FP16(无量化) 13GB 14GB INT8 10GB 9GB INT4 6GB 7GB 2.5 模型特点 优点： 较低的部署门槛： INT4 精度下 4 BLOOM模型 BLOOM系列模型是由 Hugging Face公司的BigScience 团队训练的大语言模型。 小结 主要介绍了LLM主流的开源大模型，对不同模型架构、训练目标、优缺点进行了分析和总结。
63710编辑于 2024-06-04 - 来自专栏机器学习
介绍大语言模型（LLM）
介绍大语言模型（LLM）近年来，人工智能（AI）和自然语言处理（NLP）领域取得了显著的进展，其中大语言模型（Large Language Models，简称LLM）成为了引人注目的焦点。 大语言模型是基于深度学习技术训练的，可以理解和生成自然语言文本的AI模型。本文将介绍大语言模型的基本概念、发展历程、应用领域以及未来的潜力。什么是大语言模型？ 大语言模型的发展历程大语言模型的发展可以追溯到早期的语言模型，如N-gram模型和LSTM（长短期记忆网络）。 自Transformer架构提出以来，多个大规模语言模型相继问世，如：GPT（生成预训练变换器）系列：由OpenAI推出的GPT系列模型是最具代表性的LLM之一。 未来的发展方向随着技术的不断进步，大语言模型在未来有望实现更多的突破：模型压缩和优化：通过模型压缩和优化技术，降低大语言模型的计算资源需求，推动其在移动设备和资源受限环境中的应用。
1.3K00编辑于 2024-07-30 - 来自专栏机器学习炼丹术
LLM入门4 | Segment Anything | MetaAI
<<大型语言模型LLM与Visual>> LLM入门1 | 初见LLaMA | MetaAI LLM入门2 | 羊驼AIpaca | Stanford LLM入门3 | 基于cpu和hugging face 这个虽然是大模型，但是是很轻量的模型只有不到1B的参数。 StyleGAN2专题>> 生成专题1 | 图像生成评价指标 Inception Score （IS） 生成专题2 | 图像生成评价指标FID 生成专题3 | StyleGAN2对AdaIN的修正 生成专题4 （附代码） 小白学PyTorch | 5 torchvision预训练模型与数据集全览 小白学PyTorch | 4 构建模型三要素与权重初始化 小白学PyTorch | 3 浅谈Dataset和 &生成模型
97220编辑于 2023-09-02 - 来自专栏时空探索之旅
AI论文速读 | 【综述】（LLM4TS）大语言模型用于时间序列
论文标题和作者 摘要 大型语言模型 (LLM) 在自然语言处理和计算机视觉等领域得到了广泛应用。 详细介绍了各种方法，包括（1）LLM的直接提示，（2）时间序列量化，（3）对齐技术，（4）利用视觉模态作为桥梁机制，以及（5）LLM与工具的结合 。 LLM4TS研究分类（左）及相关论文（右） A: 这篇论文提到了多项与大型语言模型（LLMs）在时间序列分析中的应用相关的研究。 LLM在不同时间序列任务和领域应用 A: 论文通过以下几个步骤来解决如何将大型语言模型（LLMs）应用于时间序列分析的问题： 方法论分类：首先，论文提出了一个详细的分类法，将现有的方法分为五个主要类别： Github仓库 该仓库维护了目前有关LLM4TS的相关论文，按照5个分类进行了分门别类。
87210编辑于 2024-11-19 - 来自专栏架构师成长之路
大模型llm：Ollama部署llama3学习入门llm
Llama3大型模型则达到400B，仍在训练中，目标是实现多模态、多语言的功能，预计效果将与GPT 4/GPT 4V相当。 二、Ollama安装 1、Ollama简介 Ollama 是一个开源的大型语言模型（LLM）服务工具，它允许用户在本地机器上运行和部署大型语言模型。 \n\n**Korean:** 《Meta Llama 3》：현재 가장 강력한 공개 사용 가능한 LLM\n\n**Japanese:**\n\n《Meta Llama 3》：現在最強の公開使用可能 なLLM\n\n\n\nNote: (Meta Llama 3) is a literal translation, as there is no direct equivalent for \"Meta B8%94%E9%95%9C%E5%83%8F%E4%B9%9F%E5%B7%AE%E4%B8%8D%E5%A4%9A1G%E3%80%82) 本文推荐使用ollama-webui-lite(github.com
7K00编辑于 2024-05-24 - 来自专栏xiaosen
LLM-AI大模型介绍
大语言模型 (LLM) 背景 大语言模型 (Large Language Model) 是一种人工智能模型, 它们通常包含数千亿甚至更多的参数，并在大规模数据集上进行训练。 这些模型通过堆叠多个注意力层来提高其处理复杂语言任务的能力。 随着模型参数数量的增加，LLM展现出了小模型所不具备的特殊能力，如上下文学习能力和逐步推理能力。 这些能力的涌现使得LLM在多项任务中取得了显著的效果提升。 LLM的训练过程通常包括预训练和微调两个阶段。 典型代表是InstructionGPT、ChatGPT、Bard、GPT-4等。 语言模型通俗理解：用来计算一个句子的概率的模型，也就是判断一句话是否是人话的概率 。 在实际应用中，通常会计算BLEU-1到BLEU-4的值，并对它们进行加权平均以得到一个综合的BLEU分数。
65310编辑于 2024-04-20 - 来自专栏DeepHub IMBA
开源大型语言模型(llm)总结
大型语言模型（LLM）是人工智能领域中的一个重要研究方向，在ChatGPT之后，它经历了快速的发展。这些发展主要涉及以下几个方面： 模型规模的增长：LLM的规模越来越大，参数数量显著增加。 此外，还有一些压缩和加速技术，可以在保持性能的同时减少模型的计算资源消耗。 理解和应对偏见：LLM的发展也关注了如何更好地理解和应对模型中的偏见。 位于阿布扎比的技术创新研究所(TII)宣布了其开源大型语言模型(LLM)——Falcon-40B。 使用GPT-4作为评判的初步评估显示，Vicuna-13B的质量达到了OpenAI ChatGPT和Google Bard的90%以上，训练Vicuna-13B的费用约为300美元。 /HuggingFaceH4/open_llm_leaderboard 作者：Varun Mathur
76542编辑于 2023-08-30 什么是大语言模型（LLM）
大语言模型（LargeLanguageModel，简称LLM）是一种旨在理解和生成人类语言的人工智能模型。 1.定义与基本原理大语言模型是一种基于深度学习的自然语言处理模型。其“大”主要体现在两个方面：参数规模大：模型包含数十亿至数千亿的可调节参数，用以学习语言数据中的细微模式和复杂关系。 模型通过遮盖或预测文本中缺失的词来学习语言的统计规律、语法和语义。微调让模型适应特定的下游任务或领域。 4.常见的大语言模型例子以下是一些具有代表性和影响力的大语言模型：模型名称开发机构主要特点GPT系列OpenAI最具代表性的自回归语言模型系列。 5.面临的挑战与局限尽管能力强大，大语言模型的发展仍面临若干显著挑战：巨大的资源消耗：训练顶级LLM需要庞大的计算集群和巨额电力，导致极高的经济成本和环境足迹，这使得其研发主要集中于少数大型科技机构。
77110编辑于 2026-03-03- 来自专栏喔家ArchiSelf
解读大模型（LLM）的token
token 在区块链中代表是通证或者代币，那么token在LLM中代表的是什么呢？ 1. 什么是token？ 在 LLM 中，token代表模型可以理解和生成的最小意义单位，是模型的基础单元。 下面是一些有用的经验法则，可以帮助理解token的长度: 1 token ~= 4 chars in English 1 token ~= ¾ words 100 tokens ~= 75 words 一些四位数字的token有: [“3000”] ，[“3”，“100”] ，[“35”，“00”] ，[“4”，“500”]。这或许就是为什么基于 GPT 的模型并不总是擅长数学计算的原因。 为了突破 LLM 的极限，可以尝试不同的训练和微调方法，并使用不同的解码策略。请注意这些模型的优缺点，并始终确保用例与正在使用的模型功能保持一致。 4. 中 token 的长度限制与应对 像 GPT-3/4，LLaMA等这样的大模型有一个最大token 数量限制，超过这个限制，它们就不能接受输入或生成输出。
20.6K51编辑于 2023-10-08 LLM 系列（五）：模型训练篇
0、引言 大语言模型（Large Language Model, LLM）的训练是人工智能领域最复杂、最资源密集的任务之一。 • 能力的源泉：模型的所有能力都来自于训练过程中对数据的学习和参数的优化 • 性能的决定因素：训练质量直接决定了模型在各种任务上的表现 • 成本的主要构成：训练成本占据了LLM开发总成本的70%以上 • 技术的核心壁垒：高效的训练技术是各大AI公司的核心竞争力 本文将从技术原理、实践方法、挑战难点等多个维度，全面解析LLM模型训练的核心技术。 1、LLM 训练基本流程 整体训练管道 阶段一：预训练（Pre-training） 核心目标 技术特点 1、学习通用语言表示2、掌握基础语言模式3、建立世界知识基础4、形成语言生成能力 1、自监督学习方式 自适应学习率，动量优化 大多数LLM训练 高（2倍参数量） AdamW Adam + 权重衰减解耦 主流LLM优化器 高 Lion 符号操作，内存友好 资源受限场景 中等 LOMO 低内存优化 消费级硬件训练
1.5K30编辑于 2025-07-02LLM 系列（六）：模型推理篇
引言 大型语言模型（LLM）的训练过程虽然耗资巨大且备受关注，但其真正的价值实现，却发生在 推理（Inference） 这一最终环节。 现代主流的生成式 LLM（如 GPT 系列）本质上都是 自回归（Autoregressive） 模型。 • 4、将新选中的 token 附加到序列末尾。 • 5、重复此过程，直到满足停止条件（如生成了终止符 `` 或达到最大长度）。 这种循序渐进的特性是 LLM 能够生成连贯、上下文相关文本的基础。 其他关键优化 • 量化（Quantization）：通过降低模型权重或激活值的数值精度（如从 FP16 降至 INT8 或 INT4）来减小模型体积和内存占用，并加速计算。 4. 可控与可信的推理：随着 LLM 逐渐演化为能够自主行动的智能体（Agent），如何保证其推理过程的正确性、逻辑性和可控性，将成为新的研究焦点。
3.4K24编辑于 2025-08-04- 来自专栏产品笔记
大语言模型（LLM）LangChain介绍
LangChain是一个利用大语言模型的能力开发各种下游应用的开源框架，它的核心理念是为各种大语言模型应用实现通用的接口，简化大语言模型应用的开发难度，主要的模块示意图为： Index：提供了各类文档导入 Models：提供了对各类大语言模型的管理和集成，除闭源的大语言模型 API 接口外，还提供对多个开源模型仓库中开源大语言模型的集成接口，以及在云上部署的大语言模型接口。 ，如问答任务提供了 Question Answering Chain，文本摘要任务提供了 Summarization Chain，文本生成 SQL 任务提供了 SQL Chain，数学计算任务提供了 LLM 选择合适的 Chain 以及模型推理模式来完成任务。 Agents 通过 SQL chain 查询账号余额，通过调用网页查询接口的 LLM 查找实时黄金价格，通过调用 LLM Math 计算能买到的黄金数量完成最终的任务，这一系列的逻辑操作均可以在 Agents
1.2K30编辑于 2023-09-09 - 来自专栏机器学习入门
【AI大模型】LLM主流开源大模型介绍
学习目标 了解LLM主流开源大模型. 掌握ChatGLM、LLaMA、Bloom等基础大模型的原理 LLM主流大模型类别 随着ChatGPT迅速火爆，引发了大模型的时代变革，国内外各大公司也快速跟进生成式AI市场，近百款大模型发布及应用 同样，我们可以得到x_1的二维位置编码是[1, 0]， x_2的位置编码是[2, 0]， x_4的位置编码是[4, 0]。 显存（推理） 最低GPU显存（高效参数微调） FP16(无量化) 13GB 14GB INT8 10GB 9GB INT4 6GB 7GB 2.5 模型特点 优点： 较低的部署门槛： INT4 精度下 小结 本小节主要介绍了LLM主流的开源大模型，对不同模型架构、训练目标、优缺点进行了分析和总结。
1.2K10编辑于 2024-09-24 数据智能：大型语言模型赋能数据系统（LLM4Data）与数据管理驱动AI（Data4LLM）的原理、架构与未来
LLM4Data与Data4LLM：大语言模型与数据管理系统双向奔赴的原理、架构与未来走向未来大语言模型（LLM）的出现，标志着人工智能领域从执行特定任务的辅助工具，演变为具备广泛理解和生成能力的通用任务求解器 因此，一个深刻的双向共生关系正在形成：大语言模型为数据管理系统（LLM4Data）注入了前所未有的智能，而数据管理技术则为大语言模型（Data4LLM）的整个生命周期提供了关键支撑，特别是通过知识增强手段来克服其固有缺陷 第二部分：Data4LLM - 驱动模型的关键数据引擎大语言模型的强大能力并非凭空而来，它们完全建立在数据管理的基础之上。 其中，检索增强生成（RAG）是连接Data4LLM和LLM4Data的关键桥梁。它是一种在推理时，通过从外部知识库（如向量数据库或知识图谱）检索信息来“喂养”模型的范式。 在《知识增强大模型》（第4章）中，王文广详细阐述了RAG作为核心“知识增强”手段的价值。它不仅是Data4LLM（数据管理赋能LLM）的直接体现，更是解决LLM“知识陈旧”和“幻觉”问题的关键实践。
55010编辑于 2025-12-16
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号