- 综合排序
- 最热优先
- 最新优先
- 来自专栏喔家ArchiSelf
大模型服务的推理优化探索
开发并部署大模型应用肯定要考虑它们的服务成本。然而，钱并不是唯一的考虑因素，如果不能解决模型性能方面的问题，即使有很大的预算，大模型服务仍会受到影响。 本文尝试讨论将 LLM 推理服务更改为高吞吐量引擎的挑战与应对方法。 1. 大模型服务面临的挑战 大模型的能力令人惊叹，但其独特的工作特性却给高性能服务部署带来了挑战。 推理优化之推测性解码 推测性解码（Speculative Decoding） 是加速大语言模型推理的重要技术之一。 更重要的是，所有由草稿模型生成的 token 可以被目标模型一次性并行验证，而不是传统的逐 token 自回归生成方式。这种方式大幅减少了生成延迟，为长文本输出带来了实质性的性能提升。 5. 这一方法为构建高性能、低延迟的大模型推理服务平台提供了重要参考。 7. 推理优化的其他方法 在大语言模推理优化领域，有一些方法已经相对成熟，并被广大工程师广泛使用。
4.2K10编辑于 2025-07-08 2025云原生大模型部署实战：基于腾讯云构建高可用推理服务
本文基于服务某金融科技企业的真实项目经验，详解如何利用腾讯云容器服务（EKS）、GPU云服务器（CGP）等产品，构建一套支持1000+并发、可用性达99.9%的大模型推理服务，同时将推理成本降低40%。 一、项目背景：金融级大模型部署的核心诉求本次服务的金融客户需构建智能客服大模型系统，核心需求直击企业级部署的关键痛点：性能要求：支持每日100万次咨询请求，峰值并发1200，单轮推理延迟≤500ms安全合规 模型服务层：高性能推理引擎选型对比当前主流推理引擎后，我们选择TensorRT-LLM与vLLM组合方案，结合腾讯云GPU优化能力实现性能突破：TensorRT-LLM：针对腾讯云CGP服务器的NVIDIA Deployment部署推理服务，配置Pod反亲和性确保不同节点分散部署Ingress配置：使用腾讯云CLB作为Ingress控制器，支持HTTPS加密与流量负载均衡### 大模型推理服务Deployment ：通过腾讯云KMS加密模型文件，推理日志写入云日志服务（CLS）并开启数据脱敏3.
98110编辑于 2025-12-10- 来自专栏spring-ai 系列
大语言模型推理框架调研
引言大语言模型（LLM）的迅猛发展及其在自然语言处理、代码生成、多模态交互等领域的广泛应用，对底层推理基础设施提出了前所未有的挑战。 本文主要对当前主流的大语言模型推理框架进行系统性调研与分析，将深入探讨各个框架的核心架构、设计理念、关键技术特点，并结合性能基准测试数据，分析其在不同模型规模和部署场景下的适用性。 这些优化方向的有效结合，是现代 LLM 推理框架提升效率的关键。III. 主流大模型推理框架当前，业界涌现了多款主流的大模型推理框架，它们在设计理念、核心技术和适用场景上各有侧重。 部署复杂度与生态支持：模型支持：支持广泛的生成模型（如 Llama, Gemma, Mistral, Qwen, DeepSeek, LLaVA）、嵌入模型（e5-mistral, gte）和奖励模型（ 这可能会驱动未来推理框架在数据和资源管理方面向更统一的设计演进。IX. 总结与建议大语言模型推理框架是释放 LLM 潜能、将其应用于实际生产的关键技术。
3.9K20编辑于 2025-06-03 - 来自专栏从头开始学习测试开发
vLLM —— 企业级大模型推理与服务的性能怪兽
自 2023 年开源以来，它迅速成为 LMSYS、Together.ai、Fireworks.ai 等头部 AI 基础设施公司的底层核心技术，并被 Meta、阿里云等大厂用于内部推理服务。 本文将深入剖析 vLLM 的核心原理、实战部署、性能对比及高级用法，助您将私有大模型真正推向生产。 二、传统推理引擎的三大痛点 在理解 vLLM 的突破之前，我们必须先看清传统方案的局限。 五、快速上手：5 分钟部署你的私有大模型 API vLLM 的易用性同样出色。以下是完整部署流程。 vLLM 已成为大模型推理的事实标准之一。 结语 在 AI 工程化的深水区，推理性能就是产品竞争力。vLLM 通过 PagedAttention 这一精妙设计，一举解决了大模型部署的核心瓶颈，让“私有大模型服务”从奢侈品变为标配。
1.5K10编辑于 2026-01-22 - 来自专栏机器学习与统计学
纯离线安装大模型推理引擎，部署量化大模型
大家好，我是 Ai 学习的老章 继续介绍大模型推理引擎+Llama.cpp，前文我写了# 内网部署 llama.cpp，运行量化大模型，详细介绍了 llama.cpp 这个推理引擎，内网离线 cmake 本文我们用个更省事儿的内网离线部署方式——Docker，然后用其部署量化大模型，其中踩坑若干，才有如此精炼、极简教程 1、联网环境拉取 llama.cpp 镜像并保存 选择镜像最好是官方，比如 llama.cpp server-cuda https://github.com/ggml-org/llama.cpp/blob/master/docs/docker.md 市面上有很多个人打包的镜像，大多都是阉割版 费老大劲搞进去，发现大模型无法加载 /dir 再传入内网： llama.cpp 服务需要模型文件才能运行，在你的 Linux 服务器上创建一个目录，用来存放 GGUF 格式的模型文件。 5、启动大模型 docker run --rm --runtime nvidia -e TZAsia/Shanghai --gpus "device=2" -v /opt/data/ai/GGUF:/models
1.5K10编辑于 2025-10-11 - 来自专栏福大大架构师每日一题
DeepSeek发布最新论文，5大杀手锏让大模型训练、推理暴涨
前天，全球知名的开源大模型平台DeepSeek在Hugging Face发布了其最新版本V3的论文。 该论文从硬件架构和模型设计两个方面出发，探讨了如何在保持性能不降低的前提下，实现大规模训练和推理的更高效率，以突破现有硬件的限制。 尤其在内存方面，大规模模型的需求每年增长超过1000%，而高速内存容量的提升速度却相对缓慢，通常不到50%。这种内存供需的巨大差距严重限制了大模型的发展空间。 虽然现有如GPTQ和AWQ等量化技术已将位宽压缩至8位、4位甚至更低，但它们主要应用于推理阶段以减少内存使用，在训练阶段的应用仍较有限。此前，开源大模型中几乎未见采用FP8进行训练的案例。 关于多标记预测，传统的自回归语言模型以单个标记逐步生成文本，随着模型规模和上下文长度增加，推理速度受到较大限制。
98810编辑于 2025-05-17 - 来自专栏AI技术探索和应用
使用vLLM加速大语言模型推理
介绍 vLLM 是一个快速且易于使用的库，用于 LLM 推理和服务，和 HuggingFace 无缝集成。 区别于 chatglm.cpp 和 llama.cpp，仅是在 GPU 上的模型推理加速，没有 CPU 上的加速。 在吞吐量方面，vLLM 的性能比 HuggingFace Transformers （HF） 高出 24 倍，文本生成推理 （TGI） 高出 3.5 倍。 安装 pip install vllm 检查模型是否被 vLLM 支持，返回成功则是支持的。 from vllm import LLM llm = LLM(model=... vllm.entrypoints.api_server \ --model facebook/opt-13b \ --tensor-parallel-size 4 分别在一个主节点和多个工作节点安装 ray 并运行服务
24.1K21编辑于 2024-03-13 - 来自专栏机器之心
CPU推理提升4到5倍，苹果用闪存加速大模型推理，Siri 2.0要来了？
机器之心报道 编辑：杜伟、蛋酱 苹果这项新工作将为未来 iPhone 加入大模型的能力带来无限想象力。 当前标准的应对方案是将整个模型加载到 DRAM 中进行推理，然而这种做法严重限制了可以运行的最大模型尺寸。 为了解决这种局限性，苹果的研究者提出在闪存中存储模型参数，至少比 DRAM 大了一个数量级。接着在推理中，他们直接并巧妙地从闪存加载所需参数，不再需要将整个模型拟合到 DRAM 中。 与 CPU 和 GPU 中的 naive 实现相比，优化该成本模型并有选择地按需加载参数的闪存策略可以运行两倍于 DRAM 容量的模型，并将推理速度分别提升 4-5 倍和 20-25 倍。 此外，如表 1 所示，这样的预测准确度水平并不会对模型在零样本任务中的表现产生不利影响。 延迟分析。当窗口大小为 5 ，每个 token 需要访问 2.4% 的前馈网络（FFN）神经元。
52310编辑于 2023-12-28 - 来自专栏算法一只狗
国内热门推理大模型指南
自从OpenAI o1大模型出现之后，把大模型数学推理能力和代码编程能力推向了一个新的高度。国内各大厂商也看到了这个新的蓝海，纷纷推出了自家的推理大模型。 因此这篇文章主要介绍三个最近比较热门的推理大模型。 目前QWQ放出来的版本，参数量只有32B，这个模型在本地也能够运行，也就是人人都能够自己搭建一个o1水平的推理模型再来给他测试一下2024年的高考题看看效果怎么样：编号为1，2，3，4，5，6的六个小球 写在最后这次把国内的一些近期有名的推理大模型做了一些简单的介绍和基础的评测，发现这些专门针对推理的大模型应该都是沿用了OpenAI o1大模型的那个技术。 这种技术包含了隐式化的COT生成和Post-training，确实能够有效提升大模型的推理能力。相信不久之后这些推理大模型将会在各个领域发挥更大的作用。
81310编辑于 2024-12-24 - 来自专栏算法一只狗
国内AI推理大模型可用吗？
我这里推荐两个比较强的推理大模型。 KIMI推出的数学推理模型k0-math KIMI推出的数学推理模型k0-math，可以直接去到官网体验 在 Kimi 网页版中，选择侧边栏的“眼镜”图标，即可使用基于 k0-math 模型的 Kimi 说实话，就算我自己打字也觉得这个假期太复杂了，简直像是念咒语一样 那时候中国网友就为了这个调休到底最后休了多少天而计算起来 既然这么难，恰好可以丢给大模型进行问答，看看具备了数学推理能力的k0-math 说实话，就算我自己打字也觉得这个假期太复杂了，简直像是念咒语一样 那时候中国网友就为了这个调休到底最后休了多少天而计算起来 既然这么难，恰好可以丢给大模型进行问答，看看具备了数学推理能力的k0-math 说实话，就算我自己打字也觉得这个假期太复杂了，简直像是念咒语一样 那时候中国网友就为了这个调休到底最后休了多少天而计算起来 既然这么难，恰好可以丢给大模型进行问答，看看具备了数学推理能力的k0-math
39810编辑于 2025-01-10 - 来自专栏xiaosen
FastLLM高性能大模型推理库
('/home/qwen0_5B/Qwen1___5-0___5B-Chat', trust_remote_code = True) model = AutoModelForCausalLM.from_pretrained ('/home/qwen0_5B/Qwen1___5-0___5B-Chat', trust_remote_code = True) # 将huggingface模型转换成fastllm模型 # from_hf 接口只能接受原始模型，或者ChatGLM的int4, int8量化模型，不能转换其它量化模型 from ftllm import llm model = llm.from_hf(model, tokenizer , dtype = "float16") model.save("qwen0_5B.flm") 现在可以使用fastllm_pytools包来启动一个大模型对话服务了： python3 -m fastllm_pytools.chat --path /home/qwen0_5B.flm 也可以根据webui.py指定的参数来启动webui服务： python3 -m fastllm_pytools.webui --path /home
64520编辑于 2024-11-21 - 来自专栏深度学习与python
字节跳动开源 AIBrix：填补云原生大模型推理“系统层”空白
AIBrix 与 vLLM 等推理引擎深度协同，持续优化推理效率，并融合多项前沿研究成果，推动大模型推理走向更加高效、可落地的生产化阶段。 传统微服务框架（如 KNative）或服务网格（如 Istio）在鉴权、流量管控、版本升级等通用能力上已经相当成熟，但对于大模型服务而言仍然显得过于臃肿，且缺少针对性的优化。 控制平面组件主要负责管理模型元数据注册、自动扩缩容、模型适配器注册，并执行各种策略。数据平面组件则提供可配置的请求派发、调度与推理服务能力，实现灵活且高性能的模型推理执行。 我们并不追求让大模型像 FaaS 一样彻底“无服务器化”，因为这在现实中尚难达到理想效果，也并非企业级生产环境的最佳形态；更可行的路线是借鉴并改进 Serverless 的相关思路，对大模型的部署环节进行有针对性的优化 通过与 vLLM 开源社区的深度协作，我们希望不断迭代并完善在云原生环境下的大模型部署架构，让企业能够更加轻量、弹性地构建面向生产的 LLM 推理服务。
3.2K10编辑于 2025-03-07 - 来自专栏算法进阶
大模型的模型压缩与有效推理综述
它是降低大型语言模型内存成本和加速推理的最直接方法，特别是在支持低比特数据类型快速操作的硬件上。量化方法有许多优点，例如减少内存占用、提高推理速度等。 5 知识蒸馏（KD） 知识蒸馏是一种将教师模型的知识转移给学生模型的技术，用于压缩和加速模型，以更简洁和更有效的方式表示教师模型的知识。 5.1 基本概念 图5 知识蒸馏分类 Logit-based KD 是一种基于输出概率的知识蒸馏方法，它通过最小化学生模型和教师模型之间的输出概率差异来实现知识传递。 因此，选择预训练蒸馏和微调蒸馏之间的通用方法取决于如何在模型大小和性能之间进行权衡。 5.3 大语言模型的知识蒸馏方法 大型语言模型数量不断增加，但许多模型是闭源的，这限制了学生模型的知识获取。 表5中总结了一些具有代表性的MoE方法。 表5 各种MoE方法总结 7.1 将MoE与其他高效技术结合使用 MoE 与其他高效技术结合的研究包括剪枝、知识蒸馏和参数高效微调（PEFT）。
1.5K10编辑于 2024-07-10 - 来自专栏AI工程落地
大语言模型推理优化论文-EdgeMoE
解决方案 - EdgeMoE 提出 EdgeMoE，一个专门为混合专家（Mixture-of-Experts, MoE）架构的稀疏大型语言模型设计的设备端推理引擎。 EdgeMoE 的核心设计理念是将模型分区存储到不同的存储设备中： 非专家权重（“热权重”）：常驻设备内存（因为它们每个 token 推理都需要使用）。 如图 8(左) 所示，若已知前两层激活，则第 3 层有 87.1% 概率激活第 5 号专家，即 P(E₃=5 | E₁=3, E₂=1)=87.1%；图 8(右) 进一步统计不同激活路径证实了这一点。 离线阶段：基于上述观察，EdgeMoE 在多个数据集上执行模型，构建专家激活统计档案。生成一个字典，键为前两连续 MoE 层的专家激活状态，值为下一层各专家激活概率。该统计档案供在线推理使用。 ，从而在资源受限的边缘设备上实现了大型稀疏 MoE 语言模型的高效（内存+计算）推理。
47810编辑于 2025-07-18 - 来自专栏自然语言处理
推理大模型的后训练增强技术--LLM 推理模型的现状
基于 LLM 的推理模型，主要是通过生成中间步骤或结构化的“思考”过程，来解决多步骤问题。不同于只给出最终答案的传统问答式 LLM，推理模型会在推理过程中展现其思考路径，或者在内部完成推理。 推理时计算量扩展 这一类方法主要聚焦于在推理阶段提升模型的推理能力，而无需重新训练或修改底层模型的权重。 2501.18841 的注释图 5. 结论 推理时计算量扩展 已成为今年最热门的研究方向之一，它的核心目标是在不修改模型权重的前提下，提升大型语言模型的推理能力。 这意味着，合理的推理策略可以在一定程度上缩小小型、成本更低的模型与大型模型之间的性能差距，让更具性价比的模型在推理能力上接近更强大的同类产品。 成本警告 需要注意的是，推理时扩展会带来额外的计算成本。
1.1K10编辑于 2025-03-13 - 来自专栏AIGC大模型应用
大模型推理能力的局限性
然而，尽管这些模型表现出色，它们在推理和理解复杂上下文方面仍然面临重大挑战。这些模型擅长识别并模仿训练数据中的模式，但当任务需要真正的理解和逻辑推理时，它们往往遇困。 当需要整合对话或文本的多个部分时，模型可能会出现推理错误。例如，在一场长时间的讨论或复杂的故事叙述中，模型可能会忘记或误解之前的信息，导致后续的矛盾或错误结论。 1.4 回答无解问题回答无解问题是 LLM 推理能力的一大挑战。当面对悖论、无明确答案的问题，或与已知事实相矛盾的问题时，LLM 可能难以提供有意义或连贯的回答。 2 现实案例：错误的推理问题："一个水壶装有 8 个单位的水，还有两个容量为 5 和 5 的空水壶。""目标是通过倒水，使前两个水壶各包含 4 个单位的水，而第三个水壶保持为空。"" 然而，如果问题稍作修改，将两个空水壶的容量改为 5 和 4（而非 5 和 5），所有 LLM 都能够正确回答。这表明，它们可能只是记住了某些已知问题的解决方案，而不是进行真正的推理。
65300编辑于 2025-03-24 - 来自专栏AutoML(自动机器学习)
大模型推理框架 vLLM 源码解析（一）
该脚本会自动将模型以张量并行的方式在两个 GPU 上进行推理计算。 整个推理过程大大致流程如下图所示，即 1 给定一定数量的 prompts（字符串数组） 2. vllm 会使用 Scheduler 模块自动对需要推理句子进行调度 3. 根据 logits 预测结果和提前设置好的采样策略对结果进行采样得到新的 token id 5. 将采样结果保存到 output 2. 整体核心模块 vLLM 核心模块之间的结构关系。 WAITING = enum.auto() # 等待中，句子还没开始推理，或者推理还未结束 RUNNING = enum.auto() # 运行中 SWAPPED = enum.auto 5.
3.6K10编辑于 2024-02-05 - 来自专栏AI学习笔记
安全推理：TEE+大模型加密框架
平台独立性 ：TEE 技术可以应用于各种计算平台，包括智能手机、服务器和云计算环境。TEE 的局限性性能开销 ：TEE 的安全机制可能会引入一定的性能开销，影响系统的运行效率。 通过隔离敏感数据和代码，TEE 能够有效抵御各种攻击，为大模型加密推理提供了一个安全的基础。III. 大模型推理加密方法在大模型推理过程中，数据的加密处理至关重要。 对于大规模大模型推理，可能需要结合多种加密技术，以在安全性和效率之间取得平衡。IV. TEE+大模型加密框架实现方案结合 TEE 技术和大模型加密方法，我们可以构建一个安全的大模型推理框架。 TEE+大模型加密推理的实例分析为了更好地理解 TEE+大模型加密框架的实际应用，我们选取了一个医疗诊断的实例进行分析。 结论TEE+大模型加密框架为解决数据隐私与安全问题提供了一种创新的解决方案。通过结合 TEE 技术和大模型加密方法，该框架在保护数据隐私的前提下，实现了高效、准确的大模型推理。
86210编辑于 2025-07-15 - 来自专栏AI工程落地
大语言模型推理优化论文-Reasoning on a Budget
论文地址：https://arxiv.org/pdf/2507.02076 研究机构：华为诺亚方舟实验室 摘要 这篇论文主要讨论了如何提高大型语言模型（LLMs）在推理时的计算效率。 可控测试时间计算需要用户预先设置一个预算约束，而自适应测试时间计算则会根据问题难度和模型推理能力动态分配计算资源。这两种方法都通过衡量推理路径中每个步骤的性能和效率指标来实现高效推理。 -精度平衡 Parallel 自一致性提前终止： 当多数投票结果稳定时（如5个样本中4个答案相同），立即停止采样，避免无效计算。 推理感知微调： 训练时模拟推理过程（如Best-of-N采样），使模型适应测试环境。 长短思维链蒸馏： 教师模型生成长短两种CoT 学生模型学习"何时用短CoT"（如添加[简单]标签） 突破：模型自适应选择推理深度。
46410编辑于 2025-07-21 - 来自专栏锤子代码
Nginx反向代理大模型推理接口(SSE)
Nginx作用这么大？ 在后台写了一个接口，用来调用第三方的AI接口，SSE方式返回。 用普通的Nginx代理配置接口返回特别慢。 找了下原因，发现是代理配置有问题。 http://192.168.0.105:228866 这个地址是你对应第三方AI大模型返回数据的接口。
1.1K10编辑于 2025-04-04
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号