- 综合排序
- 最热优先
- 最新优先
在K8s上部署分离式LLM推理
随着大语言模型（LLM）推理工作负载日益复杂，单一的整体服务进程开始触及自身极限。 在深入了解Kubernetes配置文件之前，先理解LLM的两种推理部署模式会有所帮助：在聚合式服务中，单个进程（或紧密耦合的进程组）处理从输入到输出的整个推理生命周期。 像NVIDIA Dynamo和llm-d这样的框架实现了这种模式。问题变成了：如何在Kubernetes上编排它？ 推理框架如何协调扩缩容推理框架通过具有推理特定指标可见性的自定义自动扩缩器在应用程序层面解决扩缩容问题。 llm-d的工作负载变体自动扩缩器通过Prometheus监控每个Pod的KV缓存利用率和队列深度，使用备用容量模型来确定何时应添加或移除副本。
2600编辑于 2026-04-16在K8s上部署分离式LLM推理
在Kubernetes上部署分离式LLM推理工作负载随着大语言模型（LLM）推理工作负载日益复杂，单一的整体服务进程开始触及自身极限。 本文概述了如何在Kubernetes上部署分离式推理，探讨了不同的生态系统解决方案及其在集群上的执行方式，并评估了它们开箱即用的功能。聚合式推理与分离式推理有何不同？ 在深入Kubernetes配置文件之前，了解LLM的两种推理部署模式会有所帮助：在聚合式服务中，单个进程（或紧密耦合的进程组）处理从输入到输出的整个推理生命周期。 像NVIDIA Dynamo和llm-d这样的框架实现了这种模式。问题变成了：如何在Kubernetes上编排它？ 推理框架如何协调扩展推理框架通过具有推理特定指标可见性的自定义自动扩展器，在应用程序级别解决扩展问题。
10610编辑于 2026-04-09- 来自专栏AIGC大模型应用
让 LLM 既能“看”又能“推理”！
DeepSeek-R1 会推理，GPT-4o 会看。能否让1 LLM既能看又能推理？DeepSeek-R1取得很大成功，但它有个问题——无法处理图像输入。 若想要一个既能看懂图像，又能深度推理的模型？物理问题示例我是一个学生，向 LLM 提问物理问题，并附带一张图像。 如若输入文本 "Donald Trump is the"，LLM可能预测下一 token 为 "POTUS"（美国总统）。LLM 预测过程示意图：那VLM咋工作的？ RL在 LLM 领域表现出色，提升了推理能力（如 RLHF 训练的 GPT-4）。若用 RL 训练 VLM，是否能打造更强的视觉推理模型？以图像分类任务为例。 如题目正确答案 2 bpm，但 GPT-4o 回答错误：GPT-4o错误回答：如能让 LLM 在视觉推理方面更强，或许能正确解答。期望的 VRM 结果：
42821编辑于 2025-03-27 LLM 系列（六）：模型推理篇
引言 大型语言模型（LLM）的训练过程虽然耗资巨大且备受关注，但其真正的价值实现，却发生在 推理（Inference） 这一最终环节。 推理是将训练好的模型应用于实际，根据 用户输入（Prompt）生成响应的过程 。无论是驱动一个实时聊天机器人，还是进行离线文档分析，高效、可靠的推理是所有 LLM 应用的基石。 本文将深入剖析 LLM 推理的全貌，从其根本的自回归生成机制出发，逐层揭示其 核心挑战、关键性能指标、优化技术、分布式策略以及当前主流的推理框架 。 本文旨在为读者构建一个关于 LLM 推理的完整知识图谱，理解其“表”之性能与“里”之原理。 推理的本质：一个两阶段的自回归过程 要理解推理优化，首先必须掌握 LLM 生成文本的底层机制。 这是 vLLM、TensorRT-LLM 等现代推理服务器的标配功能。
3.4K24编辑于 2025-08-04- 来自专栏架构驿站
LLM 推理引擎之争：Ollama or vLLM ?
随着自然语言处理（NLP）和大规模语言模型（LLM）技术的迅猛发展，众多创新模型不断涌现，为开发者提供了多样化的选择。 （1）量化模型支持 Ollama 重点支持量化模型，采用 4-bit 和 8-bit 量化技术（如 Int8 和 Int4），显著减少了模型的内存占用，同时提升了推理性能。 量化优势：以 LLaMA-13B 模型为例，未量化时需约 26GB 显存，而使用 Int8 量化后，显存需求大幅减少至 7GB，极大降低了对硬件的需求。 性能提升：传统推理框架中，KV Cache 占用大量显存，尤其在长序列推理时问题更为严重。 例如，对于初学者或希望快速上手的用户，可以优先选择 Ollama 作为入门，待熟悉 LLM 推理流程和原理后，再根据更复杂应用的需求，逐步转向 vLLM 以获得更高的性能和更强的扩展性。
1.8K11编辑于 2025-04-24 - 来自专栏JavaEdge
让 LLM 既能“看”又能“推理”！
怎么想、怎么做，全在乎自己「不断实践中寻找适合自己的大道」 DeepSeek-R1 会推理，GPT-4o 会看。能否让 1 LLM既能看又能推理？ 若想要一个既能看懂图像，又能深度推理的模型？ 物理问题示例 我是一个学生，向 LLM 提问物理问题，并附带一张图像。 如若输入文本 "Donald Trump is the"，LLM可能预测下一 token 为 "POTUS"（美国总统）。LLM 预测过程示意图： 那VLM咋工作的？ RL在 LLM 领域表现出色，提升了推理能力（如 RLHF 训练的 GPT-4）。若用 RL 训练 VLM，是否能打造更强的视觉推理模型？ 以图像分类任务为例。 如题目正确答案 2 bpm，但 GPT-4o 回答错误： GPT-4o错误回答： 如能让 LLM 在视觉推理方面更强，或许能正确解答。
31010编辑于 2025-06-01 LLM推理中 KVCache 提示推理效率的几点应用
LLM推理中KVCache提示推理效率的几点应用这是基于2025AICon大会的马腾的演讲整理而成通过kvCache的优化提升效率，如模型算法优化减少KVCache产生量，KVCache压缩，KVCache 复用，KVCache共享，前言在大模型应用的浪潮中，有一个问题始终困扰着从业者：如何在保证服务质量的同时，降低推理成本、提高吞吐效率？ FP8、Int4等量化格式可以在可接受的精度损失下，显著减少KVCache的存储空间。 分离指的是将KVCache从模型推理过程中分离出来，形成独立的服务。模型推理节点不再负责KVCache的存储和管理，而是专注于计算任务。 这种分离带来了几个好处：推理节点可以更专注于计算，提高资源利用率；KVCache服务可以独立扩展，适应不同的负载特征；不同推理节点之间可以共享KVCache，减少重复计算。
34710编辑于 2026-01-14- 来自专栏DeepHub IMBA
解决推理能力瓶颈，用因果推理提升LLM智能决策
因果AI能够影响智能体AI生命周期的多个环节，特别是推理、可观察性和可解释性这几个方面。 LLM推理能力的现实困境 苹果最近的研究（论文1）深入分析了LLM的推理局限性。 这些发现暴露了依赖LLM解决问题的风险。LLM看起来无法进行真正的逻辑推理，只是在模仿训练数据中观察到的推理步骤。 要让AI真正具备推理和问题解决能力，它必须在算法层面理解因果关系。 LLM推理——在LLM/LRM训练中提供WHAT、HOW和WHY成分 因果AI能够提供几个关键的推理组件：根本原因分析（检测和排序导致结果的因果驱动因素），假设场景和反事实分析（确定替代行动相对于当前状态的后果 内省机制增强推理过程 从LLM训练转到推理阶段，我们来看看如何通过添加"内省"步骤来进一步改善智能体推理。 智能体AI的核心架构 一个完整的智能体AI平台包含几个关键模块。 总结 当前LLM的推理局限性已成为制约智能体AI企业级应用的核心瓶颈。由于智能体系统在任务规划阶段高度依赖LLM能力，这种局限性直接影响了AI智能体的自主决策水平。
43010编辑于 2025-11-15 - 来自专栏自然语言处理(NLP)论文速递
LLM推理速度飙升23倍！Continuous Batching：解锁LLM潜力！
| paperweekly 本文介绍一篇 LLM 推理加速技术相关的文章，值得读一读。 LLMs 在现实应用中的计算成本主要由服务成本所主导，但是传统的批处理策略存在低效性。 在这个玩具示例中，图中的元素代表了 LLM 推断的一些关键组成部分： 黄色方框中的 T1, T2, ..., T8：这些代表了一个假设模型，它支持最大长度为 8 个 token 的序列。 ., T8 是不同的 token。 蓝色的箭头：表示推断过程的迭代。从开始的“前缀”或“提示”（黄色方框中的内容）开始，模型逐步生成一个 token。 总的来说，GPU 内存的充足与否直接影响了 LLM 推断的性能和吞吐量。如果我们能够优化内存的使用，比如通过模型量化策略或其他方法减少内存占用，就能提升推断效率，从而实现更高的吞吐量。 Q8. Q8. 作者提到 Hugging Face 在他们的文本生成推断 LLM 推断服务器中实现了连续批处理。这个实现是如何管理预填充阶段和生成阶段的？
3.2K31编辑于 2023-10-24 - 来自专栏JadePeng的技术博客
LLM 推理和应用 开源框架梳理
之前对LLM 推理和应用了解不多，因此抽时间梳理了一下，我们从模型量化，模型推理，以及开发平台等三个层面来梳理分析。 为了减少内存占用，提升推理速度，可以将高精度的参数转为低精度的参数，例如从 32 位的浮点数转换为 8 位整数，这个技术就叫做模型量化。 在二进制中一个“0”或者“1”为一bit，INT8则意味着用8bit来表示一个数字 int4占用4个字节（32位） 量化精度从高到低排列顺序是：fp16>int8>int4，量化的精度越低，模型的大小和推理所需的显存就越小 GGML是一个C写的库，可以将LLM转为为GGML格式，通过量化等技术让LLM方便进行加载和推理 采用量化技术，将原有大模型预训练结果量化（即将原有大模型FP16精度压缩成INT8、INT6精度 二进制文件编码 如果CPU推理，llama.cpp 结合模型int4量化，最佳的选择 GPU推理，微软的 DeepSpeed-FastGen 是一个好的选择 手机终端推理，MLC LLM可以作为候选 大模型应用开发平台
2.9K10编辑于 2024-03-13 - 来自专栏计算机工具
LLM前言：推理加速、模型微调对齐、开源LLM、Agent、多模态
LLM前言：推理加速、模型微调/对齐、开源LLM、Agent、多模态 推理加速 推理加速是AI技术中的关键环节，能让AI模型在实际应用中更智能、更高效。推理加速技术主要通过算法优化和硬件加速来实现。 算法优化：通过剪枝、量化、压缩等技术减小模型的大小和计算复杂度，从而提高推理速度和效率。 硬件加速：利用GPU、FPGA、ASIC等专门的硬件加速器来加速AI推理的过程。这些硬件加速器针对AI推理的特点进行设计和优化，从而提高推理速度和效率。 开源LLM 开源LLM（大型语言模型）是指公开源代码的大型语言模型，允许开发者自由使用、修改和分发。开源LLM的出现降低了AI技术的门槛，促进了AI技术的创新和发展。 例如，腾讯开源的Hunyuan系列模型，包括Hunyuan-A52B-Pretrain、Hunyuan-A52B-Instruct和Hunyuan-A52B-FP8，可支持企业及开发者精调、部署等不同场景的使用需求
40210编辑于 2024-12-14 - 来自专栏存储公众号：王知鱼
LLM推理提速：写在UCM将开源之际
本文将深入剖析这些架构的设计哲学与实践价值，助您洞悉LLM推理优化的前沿趋势。 阅读收获 掌握LLM推理中KV Cache内存瓶颈的本质与经济驱动力。 这些挑战背后，揭示了LLM推理领域一个根本性范式转变。早期，LLM优化主要集中在提升原始计算能力（FLOPs）。 参考阅读 《月之暗面：存储换算，倍增LLM推理效率》 主要内容：该文章深入探讨了KVCache（Key-Value Cache）技术在大型语言模型（LLM）推理中的应用与优化。 文章首先介绍了Mooncake系统，该系统通过增加存储资源来减少计算开销，提高LLM推理效率。 -4-kv-caching-a-deeper-look-4ba9a77746c8 Accelerate Large-Scale LLM Inference and KV Cache Offload with
1.7K10编辑于 2025-10-09 基于MindSpore NLP的LLM推理 - - 实操
一、LLM泛化能力model Decoding核心：Tranformer模型示意图greedy decodingMindNLP/LLaMa3/run_llama3.py选择线性同余生成器（LCG）解码策略法 mindspore.communication import initfrom mindnlp.transformers import AutoTokenizer, AutoModelForCausalLMmodel_id = "LLM-Research /Meta-Llama-3-8B-Instruct"init()tokenizer = AutoTokenizer.from_pretrained(model_id, mirror='modelscope seed = (a * seed + c) % m yield seed# 创建LCG生成器lcg_gen = lcg_generator(a, c, m, seed)model_id = "LLM-Research /Meta-Llama-3-8B-Instruct"init()tokenizer = AutoTokenizer.from_pretrained(model_id, mirror='modelscope
32710编辑于 2025-01-18- 来自专栏AI SPPECH
LLM推理优化技术：从理论到实践
然而，LLM的推理过程面临着巨大的挑战： 推理延迟高：LLM的推理过程需要大量的计算，特别是自回归生成过程，每生成一个token都需要进行一次前向传播，导致推理延迟很高。 3.2.1 量化 量化是将模型参数从高精度（如FP32）转换为低精度（如INT8、INT4）的技术，能够有效减小模型体积和计算复杂度。 3.3.1 GPU优化 GPU是目前LLM推理的主要硬件平台，最新的GPU优化技术，如Tensor Cores、FP8精度、异步执行等，能够有效提高推理效率。 3.6 推理优化技术对比 Table 1: 主流推理优化技术对比 优化技术 推理速度提升 显存占用降低 实现难度 硬件依赖 代表项目 4位量化 4-8x 75% 低 中 AutoGPTQ FlashAttention 硬件优化：应用硬件特定的优化技术，如Tensor Cores、FP8精度、异步执行等。 硬件扩展：应用模型并行、流水线并行等技术，扩展到多硬件设备。
76110编辑于 2026-01-01 - 来自专栏DeepHub IMBA
使用TensorRT-LLM进行高性能推理
LLM的火爆之后，英伟达(NVIDIA)也发布了其相关的推理加速引擎TensorRT-LLM。TensorRT是nvidia家的一款高性能深度学习推理SDK。 而TensorRT-LLM是在TensorRT基础上针对大模型进一步优化的加速推理库，它号称可以增加4倍的推理速度。 所以本文将对其做一个简单的使用介绍。 加速推理 在当今的数字时代，速度是至关重要的。TensorRT-LLM可与传统方法相比，提供高达8倍的吞吐量。 这种性能上的飞跃在很大程度上归功于in_flight_batching。 通过其直观的Python API, TensorRT-LLM使LLM优化和推理平民化，使这些先进技术能够为更广泛的受众所使用。 TensorRT-LLM的量化支持允许使用较低的精度(如FP8)进行计算，TensorRT-LLM在资源消耗、执行速度和模型精度之间实现了良好的平衡。
2.5K20编辑于 2023-10-23 - 来自专栏深度学习与python
使用 BigDL-LLM 加速 Intel ® 数据中心 GPU 上的 LLM 推理
结果显示，在 Intel® 数据中心 GPU Max 1100C 上利用 BigDL LLM 进行 FP16 (Self-Speculative Decoding）的大语言模型推理，可以显著改善推理的延迟 这篇文章将为对大型语言模型推理性能感兴趣的读者提供有益的参考和启示。 在生成式人工智能领域，针对大型语言模型（LLM）的推理加速，已经开发出多种性能改进技术。 例如，低比特（例如 INT4）优化和 Speculative Decoding 等技术为加速 LLM 推理提供了有效的选择。 我们已经在 BigDL-LLM 中实现了低比特和 Self-Speculative Decoding 优化，以提高 Intel®数据中心 GPU 上的 LLM 推理速度。 下面的图表比较了在 Intel 数据中心 GPU Max 1100C 上，使用 BigDL-LLM 进行 FP16 推理时的推理延迟。
68310编辑于 2024-03-26 - 来自专栏量子位
用BigDL-LLM 即刻加速百亿级参数LLM推理 | 最“in”大模型
使用 Transformers API 的样例[6]和使用 LangChain API 的样例[7]，以及教程（包括配套 jupyter notebooks）[8] ，方便开发者快速上手尝试。 BigDL-LLM 会在加载模型的过程中对模型进行 4-bit 低精度量化，并在后续推理过程中利用各种软硬件加速技术优化其执行。 只需使用 BigDL-LLM 中的 AutoModelForSpeechSeq2Seq 并设置参数 load_in_4bit=True，就能够以 INT4 精度加载并加速这一模型，从而显著缩短模型推理用时 /tree/main/python/llm/example/langchain [8]https://github.com/intel-analytics/bigdl-llm-tutorial [9]https 一行代码就行 4 一个简单模型就让ChatGLM性能大幅提升 5 推理1760亿参数的BLOOMZ，性能时延仅3.7秒
75020编辑于 2023-09-08 - 来自专栏NLP/KG
LLM推理：如何通过PRMs和MCTS提升大型语言模型的推理能力
PRMs：更加灵活，可以是 选项 1：在 llm 生成每一步解题步骤 step 后进行评估，发现错误时 llm 重新生成。 （论文把这个 llm 成为 generator ）的生成的 output 打分，那这个 llm 怎么来呢？ expantion：node3 expant 出 node8 和 node9 evaluation：… backpropagation：… step=1 select：… expantion model 时，只能初始化每个 node 的 q-value 为 0，后续用 MCTS 的方式来估算这个 node 的 q-value，例如通过不断的 trajectory 采样，经过这个 node 完整的 8 理想情况下，trajectory 设置为无限大，根据大数定律，估算出来的 q-value 方差接近 0，但很明显，这是理想情况，实际上由于算力，trajectory 值不可能设置得这么大，可能只取为 4 或 8，
87210编辑于 2025-04-26 - 来自专栏自然语言处理
推理大模型的后训练增强技术--LLM 推理模型的现状
在 LLM 中实现和改进推理：四个主要类别 大多数读者对 LLM 推理模型可能已经比较熟悉，这里简单介绍一下它的定义。 基于 LLM 的推理模型，主要是通过生成中间步骤或结构化的“思考”过程，来解决多步骤问题。不同于只给出最终答案的传统问答式 LLM，推理模型会在推理过程中展现其思考路径，或者在内部完成推理。 )”，https://arxiv.org/abs/2502.05171 的注释图 8. 10 亿参数的 LLM 能否超越 4050 亿参数的 LLM？ 这些发现突出了推理时扩展如何显着改进 LLM，其中小型 LLM 通过适当的推理计算量预算，可以胜过更大的模型。 来自“10 亿参数的 LLM 能否超越 4050 亿参数的 LLM？ 用于LLM 推理和规划的推理时计算 (Inference-Time Computations for LLM Reasoning and Planning) 2 月 18 日，用于 LLM 推理和规划的推理时计算
1.1K10编辑于 2025-03-13 论文解读-你的LLM能够稳定推理吗？
论文认为这一差距主要源于当前的评估协议和指标未能全面反映LLM的能力，特别是在复杂推理任务中，准确性和一致性至关重要。 二、研究背景自大型语言模型（LLMs）问世以来，复杂的推理能力，尤其是数学问题解决方面的能力，被视为LLM能力的巅峰。 GSM8K提供了一个包含8500个基础数学应用题的数据集，分为训练集和测试集，要求模型进行多步骤推理并提供详细的解题路径。 Omni-Math专注于奥林匹克级别的数学推理，包含4428道竞赛级别的题目，分为超过33个子领域和10个难度级别，从入门级到专业国际竞赛。LLM推理的稳定性。 此外，论文还评估了几种o1类型的LLM，如QwQ-32B-Preview、Skywork-o1-Open-Llama- 3.1-8B和OpenAI o1-mini。
25310编辑于 2026-01-16
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号