- 综合排序
- 最热优先
- 最新优先
大模型推理 DPTPPPEP 理解
TP：Tensor Parallel，张量并行 2.1 直观理解 2.2 TP 的基本图示 2.3 TP 的计算流程 2.4 TP 为什么常用于大模型推理？ 比如大模型太大，需要 TP=8 才能放下，那么一个 DP 副本可能是： DP Replica 0 = 8 张 GPU 做 TP DP Replica 1 = 8 张 GPU 做 TP DP Replica 1.5 DP 的缺点 DP 的主要问题是： ❝每个副本都要保存一份模型权重，显存开销大。 如果模型本身已经需要 8 张 GPU 才能放下，那么做 DP 就需要更多 GPU。 张卡才能放下 建议： TP=8 DP=1 结构： GPU0-7 一起跑一个模型副本 适合： 大 Dense 模型 单副本推理 缺点： 只有一个副本，并发能力主要靠 continuous batching 和 KV Cache 的关系 大模型推理时，KV Cache 非常关键。
77310编辑于 2026-05-06- 来自专栏机器学习与统计学
纯离线安装大模型推理引擎，部署量化大模型
大家好，我是 Ai 学习的老章 继续介绍大模型推理引擎+Llama.cpp，前文我写了# 内网部署 llama.cpp，运行量化大模型，详细介绍了 llama.cpp 这个推理引擎，内网离线 cmake 本文我们用个更省事儿的内网离线部署方式——Docker，然后用其部署量化大模型，其中踩坑若干，才有如此精炼、极简教程 1、联网环境拉取 llama.cpp 镜像并保存 选择镜像最好是官方，比如 llama.cpp server-cuda https://github.com/ggml-org/llama.cpp/blob/master/docs/docker.md 市面上有很多个人打包的镜像，大多都是阉割版 费老大劲搞进去，发现大模型无法加载 /dir 再传入内网： llama.cpp 服务需要模型文件才能运行，在你的 Linux 服务器上创建一个目录，用来存放 GGUF 格式的模型文件。 5、启动大模型 docker run --rm --runtime nvidia -e TZAsia/Shanghai --gpus "device=2" -v /opt/data/ai/GGUF:/models
2.2K10编辑于 2025-10-11 - 来自专栏spring-ai 系列
大语言模型推理框架调研
引言大语言模型（LLM）的迅猛发展及其在自然语言处理、代码生成、多模态交互等领域的广泛应用，对底层推理基础设施提出了前所未有的挑战。 本文主要对当前主流的大语言模型推理框架进行系统性调研与分析，将深入探讨各个框架的核心架构、设计理念、关键技术特点，并结合性能基准测试数据，分析其在不同模型规模和部署场景下的适用性。 这些优化方向的有效结合，是现代 LLM 推理框架提升效率的关键。III. 主流大模型推理框架当前，业界涌现了多款主流的大模型推理框架，它们在设计理念、核心技术和适用场景上各有侧重。 量化支持：vLLM 支持多种量化方案，包括 GPTQ、AWQ、SqueezeLLM (INT8 W8A8)、FP8 KV 缓存等 。这有助于减小模型体积，降低显存占用，并加速推理。 这可能会驱动未来推理框架在数据和资源管理方面向更统一的设计演进。IX. 总结与建议大语言模型推理框架是释放 LLM 潜能、将其应用于实际生产的关键技术。
4.5K20编辑于 2025-06-03 - 来自专栏算法进阶
大模型的模型压缩与有效推理综述
QAT技术在中等规模语言模型中的应用主要体现在将BERT类模型中的权重向量化到INT8，例如Q8BERT将BERT模型中的权重和激活都量化为8位，而没有显著降低模型性能。 有些工作使用更复杂的方法实现了低于8位的量化宽度，例如Q-BERT将激活保持在8位，并将混合精度权重降低到2/3位。TernaryBERT将权重限制在-1，0和+1之间，仅使用2位，并使用8位的激活。 这种方法在移动端推理、边缘计算、嵌入式系统等领域具有广泛应用，可以显著提高推理速度、降低存储空间需求和减小计算复杂度。具体实现方法包括二值化量化、8位量化、自适应量化等。 因此，选择预训练蒸馏和微调蒸馏之间的通用方法取决于如何在模型大小和性能之间进行权衡。 5.3 大语言模型的知识蒸馏方法 大型语言模型数量不断增加，但许多模型是闭源的，这限制了学生模型的知识获取。 MoE 的研究历史较长，广泛应用于今天的 LLM，包括模型压缩和加速技术。 8 加速框架 本章主要介绍了一些用于加速大型语言模型（LLM）推理的框架。
1.7K10编辑于 2024-07-10 - 来自专栏AI工程落地
大语言模型推理优化论文-EdgeMoE
解决方案 - EdgeMoE 提出 EdgeMoE，一个专门为混合专家（Mixture-of-Experts, MoE）架构的稀疏大型语言模型设计的设备端推理引擎。 EdgeMoE 的核心设计理念是将模型分区存储到不同的存储设备中： 非专家权重（“热权重”）：常驻设备内存（因为它们每个 token 推理都需要使用）。 在 SAMSum 数据集上运行 ST-base-8 模型。 离线阶段：基于上述观察，EdgeMoE 在多个数据集上执行模型，构建专家激活统计档案。生成一个字典，键为前两连续 MoE 层的专家激活状态，值为下一层各专家激活概率。该统计档案供在线推理使用。 ，从而在资源受限的边缘设备上实现了大型稀疏 MoE 语言模型的高效（内存+计算）推理。
67010编辑于 2025-07-18 - 来自专栏算法一只狗
国内热门推理大模型指南
自从OpenAI o1大模型出现之后，把大模型数学推理能力和代码编程能力推向了一个新的高度。国内各大厂商也看到了这个新的蓝海，纷纷推出了自家的推理大模型。 因此这篇文章主要介绍三个最近比较热门的推理大模型。 在训练过程中，模型根据需要自行选择这些标签，根据其自己的判断激活每个阶段。与OpenAI o1大模型一样，所有阶段都由模型在单个推理过程中完成。 写在最后这次把国内的一些近期有名的推理大模型做了一些简单的介绍和基础的评测，发现这些专门针对推理的大模型应该都是沿用了OpenAI o1大模型的那个技术。 这种技术包含了隐式化的COT生成和Post-training，确实能够有效提升大模型的推理能力。相信不久之后这些推理大模型将会在各个领域发挥更大的作用。
99310编辑于 2024-12-24 - 来自专栏自然语言处理
推理大模型的后训练增强技术--LLM 推理模型的现状
基于 LLM 的推理模型，主要是通过生成中间步骤或结构化的“思考”过程，来解决多步骤问题。不同于只给出最终答案的传统问答式 LLM，推理模型会在推理过程中展现其思考路径，或者在内部完成推理。 推理时计算量扩展 这一类方法主要聚焦于在推理阶段提升模型的推理能力，而无需重新训练或修改底层模型的权重。 )”，https://arxiv.org/abs/2502.05171 的注释图 8. 10 亿参数的 LLM 能否超越 4050 亿参数的 LLM？ 结论 推理时计算量扩展 已成为今年最热门的研究方向之一，它的核心目标是在不修改模型权重的前提下，提升大型语言模型的推理能力。 这意味着，合理的推理策略可以在一定程度上缩小小型、成本更低的模型与大型模型之间的性能差距，让更具性价比的模型在推理能力上接近更强大的同类产品。 成本警告 需要注意的是，推理时扩展会带来额外的计算成本。
1.3K11编辑于 2025-03-13 - 来自专栏算法一只狗
国内AI推理大模型可用吗？
我这里推荐两个比较强的推理大模型。 KIMI推出的数学推理模型k0-math KIMI推出的数学推理模型k0-math，可以直接去到官网体验 在 Kimi 网页版中，选择侧边栏的“眼镜”图标，即可使用基于 k0-math 模型的 Kimi 说实话，就算我自己打字也觉得这个假期太复杂了，简直像是念咒语一样 那时候中国网友就为了这个调休到底最后休了多少天而计算起来 既然这么难，恰好可以丢给大模型进行问答，看看具备了数学推理能力的k0-math 说实话，就算我自己打字也觉得这个假期太复杂了，简直像是念咒语一样 那时候中国网友就为了这个调休到底最后休了多少天而计算起来 既然这么难，恰好可以丢给大模型进行问答，看看具备了数学推理能力的k0-math 说实话，就算我自己打字也觉得这个假期太复杂了，简直像是念咒语一样 那时候中国网友就为了这个调休到底最后休了多少天而计算起来 既然这么难，恰好可以丢给大模型进行问答，看看具备了数学推理能力的k0-math
50310编辑于 2025-01-10 - 来自专栏xiaosen
FastLLM高性能大模型推理库
纯c++实现，便于跨平台移植，可以在安卓上直接编译 支持读取Hugging face原始模型并直接量化 支持部署Openai api server 支持多卡部署，支持GPU + CPU混合部署 install.sh -DUSE_CUDA=ON -D CMAKE_CUDA_COMPILER=$(which nvcc) 以Qwen1.5-0.5B为例 # 通过huggingface接口创建模型 fastllm模型 # from_hf接口只能接受原始模型，或者ChatGLM的int4, int8量化模型，不能转换其它量化模型 from ftllm import llm model = llm.from_hf (model, tokenizer, dtype = "float16") model.save("qwen0_5B.flm") 现在可以使用fastllm_pytools包来启动一个大模型对话服务了 'finish_reason': 'stop'}], 'usage': {'prompt_tokens': 19, 'total_tokens': 27, 'completion_tokens': 8}
92920编辑于 2024-11-21 - 来自专栏AI技术探索和应用
使用vLLM加速大语言模型推理
介绍 vLLM 是一个快速且易于使用的库，用于 LLM 推理和服务，和 HuggingFace 无缝集成。 区别于 chatglm.cpp 和 llama.cpp，仅是在 GPU 上的模型推理加速，没有 CPU 上的加速。 在吞吐量方面，vLLM 的性能比 HuggingFace Transformers （HF） 高出 24 倍，文本生成推理 （TGI） 高出 3.5 倍。 vllm-project/vllm 文档：https://vllm.readthedocs.io/en/latest/models/supported_models.html 支持 HuggingFace 上的模型 安装 pip install vllm 检查模型是否被 vLLM 支持，返回成功则是支持的。 from vllm import LLM llm = LLM(model=...
24.4K21编辑于 2024-03-13 - 来自专栏自然语言处理(NLP)论文速递
重新定义大模型推理！Google | 提出SELF-DISCOVER框架，大模型可自写推理结构！
引言 在人工智能领域，大模型（LLMs）如GPT-4和PaLM 2在文本生成方面展现了强大性能。然而，这些模型在处理复杂推理任务时仍面临挑战。 为了提升大模型解决复杂问题的能力，受到人类认知理论的启发，人们提出了各种提示（Prompt）方法。 这个计划以键值对的形式呈现，类似于JSON，以便于模型理解和执行。这个过程不仅包括元提示，还包括一个人类编写的推理结构示例，以帮助模型更好地将自然语言描述转化为结构化的推理计划。 「阶段二：应用发现推理结构」 完成阶段一之后，模型将拥有一个专门为当前任务定制的推理结构。在解决问题的实例时，模型只需遵循这个结构，逐步填充JSON中的值，直到得出最终答案。 这个过程的关键在于，它允许模型在没有人类干预的情况下，自主地生成适合特定任务的推理结构，这不仅提高了模型的推理能力，而且提高了推理过程的可解释性。
96110编辑于 2024-03-11 - 来自专栏喔家ArchiSelf
大模型服务的推理优化探索
本文尝试讨论将 LLM 推理服务更改为高吞吐量引擎的挑战与应对方法。 1. 大模型服务面临的挑战 大模型的能力令人惊叹，但其独特的工作特性却给高性能服务部署带来了挑战。 这一方法为构建高性能、低延迟的大模型推理服务平台提供了重要参考。 7. 推理优化的其他方法 在大语言模推理优化领域，有一些方法已经相对成熟，并被广大工程师广泛使用。 首先是量化技术，它通过降低模型权重和激活值的精度（例如从 FP16 降至 INT4 或 FP8），在几乎不影响模型性能的前提下显著缩小模型体积并提升推理速度。 FP4 的高效推理；LLM-FP4 展示了 FP4 表示方式在保持模型质量的同时大幅提升推理效率的能力；WINT8 是专为 MoE 架构模型设计的 INT8 量化方案，已在生产环境中落地应用；SpQR 将量化与稀疏性结合，实现了近似无损的 LLM 压缩，适用于边缘部署场景；FP8-LM 探索了 FP8 格式在 Transformer 模型中的训练与推理优化，有效减少了内存占用与计算开销；而 NVIDIA
4.4K10编辑于 2025-07-08 - 来自专栏算法一只狗
国内AI推理大模型怎么样？
近年来，国内在人工智能领域，特别是大规模语言模型（LLM）的推理能力方面，取得了显著进展。多家科技公司和研究机构相继推出了具备强大推理能力的AI大模型。 该模型在某些数据集上的表现已超过OpenAI的o1模型。这里我主要介绍两个推理大模型，看看他们的效果到底怎么样。 ，比如MATH-500中，其取得的效果还要比OpenAI的o1大模型效果要好。 目前QWQ放出来的版本，参数量只有32B，这个模型在本地也能够运行，也就是人人都能够自己搭建一个o1水平的推理模型写在最后尽管国内AI大模型在推理能力上取得了长足进步，但与国际领先模型相比，仍存在一定差距 特别是在复杂推理、数学和代码生成等领域，国内模型还有提升空间。然而，随着技术的不断发展和各大厂商的持续投入，国内AI大模型的推理能力有望进一步提升。
86310编辑于 2025-01-02 - 来自专栏AI前沿技术
大模型高效推理｜投机解码原理介绍
投机解码是提升大模型推理速度的关键方式之一，其优势在于利用 drafter-then-verfiy的范式，很大程度解决了自回归解码一次仅生成一个token的局限，很多推理架构也配置了该特性。 token，然后使用目标大语言模型，一次性的并行验证所有草稿token是否可接收，进而达到一次解码输出多个token的效果，实现大模型推理速度的加倍。 而目标模型通常为上百亿的大语言模型，如 Llama-70B、GPT-4、PaLM 等。 优势： • 推理延时低：小型草稿模型参数少、计算量小，单步生成速度远快于目标大模型，能快速产出批量草稿序列。 大模型推理-page attention 内存分页术 大模型推理-极致化的批处理策略介绍 大模型推理- PD分离部署，势在必行！ 大模型推理-高效推理必备KV cache 大模型训练-混合专家系统MoE 大模型训练-Nvidia GPU 互联技术全景图 大模型训练-流水线并行PP 大模型训练-张量并行TP
1.5K10编辑于 2026-01-13 - 来自专栏锤子代码
Nginx反向代理大模型推理接口(SSE)
Nginx作用这么大？ 在后台写了一个接口，用来调用第三方的AI接口，SSE方式返回。 用普通的Nginx代理配置接口返回特别慢。 找了下原因，发现是代理配置有问题。 http://192.168.0.105:228866 这个地址是你对应第三方AI大模型返回数据的接口。
1.2K10编辑于 2025-04-04 怎么理解与构建推理型大模型
本文将介绍构建推理模型（Reasoning LLMs）的四种主要方法，即如何为大语言模型（LLMs）增强推理能力。希望这些内容能为你在快速发展的AI之路上提供一些有价值的参考。 常规 LLM vs 推理模型 •常规 LLM：往往只输出一个简短答案。•推理模型：通常会在答案中包含中间步骤，展示部分推理过程。 什么时候需要使用推理模型？ 在前文我们已经定义了“推理模型”。接下来，在进入如何构建和改进推理型 LLM 的技术细节之前，先思考一个关键问题：我们究竟何时需要使用推理模型？ •尽管不属于严格意义上的“蒸馏”，但其方法类似：•用更大规模的 DeepSeek-R1 671B 生成输出；•再用这些结果来训练较小的模型（如 Llama 8B、70B 以及 Qwen 1.5B–30B 在这里，蒸馏指的是： •将较小的 LLM（如 Llama 8B/70B 与 Qwen 2.5 系列（0.5B–32B））•在由更大模型（DeepSeek-V3 与 R1 中间版本）生成的 SFT 数据集上进行微调
50110编辑于 2026-03-13- 来自专栏我爱计算机视觉
港中文提出LISA大模型：解锁多模态大模型“推理分割”能力
本篇文章分享论文 LISA: Reasoning Segmentation via Large Language Model ，由香港中文大学提出 LISA 大模型，解锁多模态大模型“推理分割”能力。 尽管当前多模态大模型（例如Flamingo [1], BLIP-2 [2], LLaVA [3], miniGPT-4 [4], Otter [5]）使得AI能够根据图像内容推理用户的复杂问题，并给出相应的文本分析和回答 因此，此项研究工作提出LISA（Large Language Instructed Segmentation Assistant）多模态大模型。 实验证明，在训练过程中仅使用不包含复杂推理的分割数据（通过将现有的语义分割数据如ADE20K [6]，COCO-Stuff [7]以及现有指代分割数据refCOCO系列 [8]中的每条数据转换成“图像- 而且LISA还表现出高效的训练特性，只需在8张具有24GB显存的3090显卡上进行10,000次训练迭代，即可完成7B模型的训练。
1.7K70编辑于 2023-08-31 - 来自专栏AI工程落地
大语言模型推理优化论文-Reasoning on a Budget
论文地址：https://arxiv.org/pdf/2507.02076 研究机构：华为诺亚方舟实验室 摘要 这篇论文主要讨论了如何提高大型语言模型（LLMs）在推理时的计算效率。 方法描述 该论文把现有的论文分成两种方法来优化模型推理过程中的计算效率：可控测试时间计算（Controllable Test-Time Compute）和自适应测试时间计算（Adaptive Test-Time 可控测试时间计算需要用户预先设置一个预算约束，而自适应测试时间计算则会根据问题难度和模型推理能力动态分配计算资源。这两种方法都通过衡量推理路径中每个步骤的性能和效率指标来实现高效推理。 推理感知微调： 训练时模拟推理过程（如Best-of-N采样），使模型适应测试环境。 长短思维链蒸馏： 教师模型生成长短两种CoT 学生模型学习"何时用短CoT"（如添加[简单]标签） 突破：模型自适应选择推理深度。
63010编辑于 2025-07-21 - 来自专栏AIGC大模型应用
大模型推理能力的局限性
然而，尽管这些模型表现出色，它们在推理和理解复杂上下文方面仍然面临重大挑战。这些模型擅长识别并模仿训练数据中的模式，但当任务需要真正的理解和逻辑推理时，它们往往遇困。 1 关键推理挑战1.1 缺乏真正的理解语言模型的工作原理是根据训练过程中学到的模式预测下一个关键词，而不像人类真正理解其所讨论的内容。因此，在需深层理解的复杂推理任务，LLM 表现不佳。 当需要整合对话或文本的多个部分时，模型可能会出现推理错误。例如，在一场长时间的讨论或复杂的故事叙述中，模型可能会忘记或误解之前的信息，导致后续的矛盾或错误结论。 1.4 回答无解问题回答无解问题是 LLM 推理能力的一大挑战。当面对悖论、无明确答案的问题，或与已知事实相矛盾的问题时，LLM 可能难以提供有意义或连贯的回答。 2 现实案例：错误的推理问题："一个水壶装有 8 个单位的水，还有两个容量为 5 和 5 的空水壶。""目标是通过倒水，使前两个水壶各包含 4 个单位的水，而第三个水壶保持为空。""
78200编辑于 2025-03-24 - 来自专栏AI学习笔记
安全推理：TEE+大模型加密框架
通过隔离敏感数据和代码，TEE 能够有效抵御各种攻击，为大模型加密推理提供了一个安全的基础。III. 大模型推理加密方法在大模型推理过程中，数据的加密处理至关重要。 对于大规模大模型推理，可能需要结合多种加密技术，以在安全性和效率之间取得平衡。IV. TEE+大模型加密框架实现方案结合 TEE 技术和大模型加密方法，我们可以构建一个安全的大模型推理框架。 TEE+大模型加密推理的实例分析为了更好地理解 TEE+大模型加密框架的实际应用，我们选取了一个医疗诊断的实例进行分析。 模型优化 ：对大模型进行量化、剪枝等优化，降低模型的计算复杂度，从而间接减少加密推理的性能开销。 结论TEE+大模型加密框架为解决数据隐私与安全问题提供了一种创新的解决方案。通过结合 TEE 技术和大模型加密方法，该框架在保护数据隐私的前提下，实现了高效、准确的大模型推理。
1.1K10编辑于 2025-07-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号