- 综合排序
- 最热优先
- 最新优先
XVERSE-7B-chat Transformers 推理
XVERSE-7B-Chat为XVERSE-7B模型对齐后的版本。 XVERSE-7B 是由深圳元象科技自主研发的支持多语言的大语言模型（Large Language Model），参数规模为 70 亿，主要特点如下： 模型结构：XVERSE-7B 使用主流 Decoder-only ', cache_dir='/root/autodl-tmp', revision='master') Transformers 推理以及 INT8、INT4 量化推理 我们在 /root/autodl-tmp 默认是支持 INT8 和 INT4 类型的量化，这样在推理的适合可以大幅降低模型加载所需的显存。 INT4 量化推理的运行效果如下：
19110编辑于 2025-07-21- 来自专栏计算机工具
本机实现Llama 7B推理及部署
本机实现Llama 7B推理及部署 使用llamafile在Windows系统部署- **部署步骤**：首先从[https://www.modelscope.cn/api/v1/models/bingal `是web界面访问端口，可自行修改.- **推理时间**：其推理速度取决于所使用的GPU性能等因素，使用较高端的GPU如NVIDIA GeForce RTX 3090等可以获得较快的推理速度，一次推理时间可能在几秒到十几秒不等 7. 创建一个Python脚本，如`inference_api.py`，在脚本中实例化模型并通过API生成推理。 - **推理时间**：如果仅使用CPU推理，推理速度相对较慢，一次推理时间可能在十几秒甚至更长；若使用支持Metal框架的Mac设备且有较好的GPU性能，推理时间会有所缩短，但通常仍比使用高性能独立GPU -2-7b-guf/resolve/main/llama-2-7b.q5_k_m.guf`。
87320编辑于 2024-12-30 - 来自专栏OpenCV与AI深度学习
干货 | YOLOv7目标检测论文解读与推理演示
导读 本文主要介绍简化的YOLOv7论文解读和推理测试以及YOLOv7与 YOLO系列的其他目标检测器的比较。 本文主要介绍简化的YOLOv7论文解读和推理测试以及YOLOv7与 YOLO系列的其他目标检测器的比较。 YOLOv7通过将性能提升一个档次建立了重要的基准。 上述实验结果表明，YOLOv7 模型在速度和准确度上确实优于目标检测器。 YOLOv7目标检测推理 现在，让我们进入博文中令人兴奋的部分，即使用 YOLOv7 对视频进行推理。 您还需要从此处下载yolov7-tiny.pt和yolov7.pt预训练模型。 在这里，我们将对描述以下三种不同场景的三个视频进行推理。 让我们看看使用 YOLOv7-Tiny（顶部）和 YOLOv7（底部）模型对第一个视频的检测推理结果。以下命令分别用于使用 Tiny 和 Normal 模型运行推理。
6.2K30编辑于 2022-09-26 - 来自专栏AI大模型应用开发炼丹房
解剖vLLM：高吞吐LLM推理引擎的7大核心技术
作为分布式大模型推理引擎，vLLM通过分页注意力、连续批处理等核心技术实现高吞吐与低延迟。今天我将深度解析其架构设计。如果对你有所帮助，记得告诉身边有需要的朋友。 tokens/块），通过内存池动态分配：调度器：支持FCFS/优先级调度，维护等待队列与运行队列，混合处理预填充与解码请求执行器：驱动模型前向传播，支持即时执行与CUDA图优化1.2 推理流程 latency：测量端到端延迟vllm bench throughput：压力测试峰值吞吐自动SLO优化：动态调整参数满足延迟约束最后总结一下vLLM通过创新内存管理、分布式调度与算法优化，在LLM推理场景实现数量级性能提升 当然，主流的LLM推理框架除了vLLM，还有其它几大框架，具体的选择根据实际项目需求来定，几大框架的优势对比及选型，我这里也做了一个技术文档，实力宠粉。 粉丝朋友自行领取：《大型语言模型（LLM）推理框架的全面分析与选型指南（2025年版）》好了，今天的分享就到这里，点个小红心，我们下期见。
1.3K10编辑于 2025-09-04 - 来自专栏人人都是架构师
HugggingFace 推理 API、推理端点和推理空间使用介绍
本文将介绍 HuggingFace 的推理 API、推理端点和推理空间的使用方法。 页面小组件 推理 API 有两种使用方式，一种是在模型页面的右侧找到推理 API 的小组件页面，初始界面如下图所示： 我们可以在这个页面中上传图片，然后就可以看到模型进行推理运行，等一会后推理结果就出来了 (Endpoint) 推理 API 虽然方便，但推理 API 一般用于测试和验证，由于速率限制，官方不推荐在生产环境中使用，而且也不是所有模型都有提供推理 API。 信息确认无误后点击Create Endpoint按钮创建推理端点，创建成功后可以进入推理端点的详情页面看到如下信息： 其中Endpoint URL就是部署好的推理端点地址，我们可以跟调用推理 API 总结 本文介绍了 HuggingFace 的推理 API、推理端点和推理空间的使用方法，推理 API 是免费的，使用 HuggingFace 自建的 API 服务，推理端点是部署自己专属的 API 服务
4.4K40编辑于 2023-09-17 - 来自专栏DeepHub IMBA
vLLM推理加速指南：7个技巧让QPS提升30-60%
GPU 永远不够用，这大概是每个做推理服务的人都有的共识。相比无脑加卡，更实际的办法是把现有资源榨干。下面这些是我在实际项目里反复用到的几个调优手段，有代码、有数据、也有一些踩坑经验。 7、热路径预热和指标监控 还有两个看起来无聊但实际很关键的点。 第一是预热。 总结 在最后总结之前先给一个实测的数据 单张 80GB 的 GPU 跑 7B 到 8B 的聊天模型，从无限制无流式改成流式加 256 token 上限，用户感知响应速度能翻倍，可持续 QPS 提升 30%
54510编辑于 2025-11-15 - 来自专栏CreateAMind
因果推理比概率推理更难吗？
统计和因果推理中的许多任务可以被解释为合适的形式语言中的蕴含问题。我们问，从计算的角度来看，对于因果概率语言来说，这些问题是否比纯概率（或“关联”）语言更困难。 尽管从多种意义上讲，因果推理确实更复杂——无论是表达上的还是推理上的——我们表明因果蕴涵（或可满足性）问题可以系统地、稳健地简化为纯粹的概率问题。因此，计算复杂性不会增加。 毫无争议的是，因果推理比纯粹的概率或统计推理更困难。后者似乎已经足够困难了：估计概率、根据过去的观察预测未来事件、确定统计显着性、在统计假设之间做出裁决——这些已经是艰巨的任务，长期陷入争议。 因果推理问题似乎只会让我们的任务变得更加困难。推断因果效应、预测干预结果、确定因果方向、学习因果模型——这些问题通常需要统计推理，但也对研究者提出更多要求。 从推理的角度来看，概率信息远远不能确定因果信息。 统计推断和因果推断的一个共同特征是，每种方法最突出的方法都可以（至少部分地）理解为试图将归纳问题转化为演绎问题。
27810编辑于 2024-03-25 - 来自专栏bit哲学院
知识推理
参考链接： 从列表中移除满足Java中给定谓词元素 目录 本体知识推理简介与任务分类 OWL本体语言 知识推理任务 OWL本体推理 实例化(materialization)的一个例子: OWL本体推理:不一致性检测 OWL本体非标准推理:计算辩解 本体推理方法与工具介绍 基于Tableaux运算的方法 Tableaux运算的正确性 相关工具简介 基于逻辑编程改写的方法 本体推理的局限: (1) 仅支持预定义的本体公理上的推理(无法针对自定义的词汇支持灵活推理) (2) 用户无法定义自己的推理过程 引入规则推理 (1) 可以根据特定的场景定制规则,以实现用户自定义的推理过程 上下位推理 查询的同时已经做出了推理! 查询触发推理 查询输入类别s和o之间有无上下位关系 添加推理机 OWL推理: 构建OWL推理机 构建一个含OWL推理功能的Model Model myMod = ModelFactory.createDefaultModel
2K00发布于 2020-12-13 - 来自专栏贾志刚-OpenCV学堂
YOLOv5，YOLOv6，YOLOv7在TensorRT推理速度比较
测试方式 我横向对比了 YOLOv5s、YOLOv6s、YOLOv7-tiny、YOLOv7 四个模型在TensorRT上的推理速度，首先当然是用各种官方的脚本导出ONNX格式模型，然后基于TensorRT8.4 .x自带的工具模型转变转换为FP16半精度推理engine文件。 就可以写程序测试了，因为我之前写好了一个YOLOv5s的TensorRT推理的C++类，我几乎全部重用了代码，很快就完成了YOLOv6s跟YOLOv7-tiny跟YOLOv7的TensorRT推理代码修改 ，然后测试结果截图如下： YOLOv5s 最新版本6.x推理 YOLOv6s模型推理 YOLOv7-tiny模型推理 然后我还发现一个奇怪的现象，YOLOv7官方提供的对象检测模型不管什么时候，手里面那个东西就是检测说 这个是YOLOv7推理 就这速度论文也敢写超过YOLOv5！
6.9K20编辑于 2022-09-27 - 来自专栏AI智韵
【多模态大模型实战】 搭建DeepSeek Janus-Pro 7B 多模态模型，以及推理微调，推理后的模型融合
') 下载完成之后，就可以的得到模型文件了，如下图： 推理 将janus的整个文件夹复制到项目中（已经安装了，但是不知道为啥导入的时候还是有问题，所以就直接复制了，如果没有问题，可以不用复制），如下图 界面训练：以界面的方式提供训练、推理、评测、量化的能力，完成大模型的全链路。 工具箱能力：除了对大模型和多模态大模型的训练支持外，还支持其推理、评测、量化和部署全流程。 推理加速：支持PyTorch、vLLM、LmDeploy推理加速引擎，并提供OpenAI接口，为推理、部署和评测模块提供加速。 模型量化：支持AWQ、GPTQ和BNB的量化导出，导出的模型支持使用vLLM/LmDeploy推理加速，并支持继续训练。
4K10编辑于 2025-02-08 - 来自专栏野生AI架构师
推理与统计：推理的来源是什么？
有文章提到chatgpt已经具备了复杂的推理能力，按照自己以前对这些大模型的了解，是不太相信的，那不过就是从训练数据提炼出来的观点，本质是一种统计的运算。 这时，我们能说他具备推理能力了吗，也许他只是记住了答案。 网文说，chatgpt的推理能力很可能是来源于代码的学习，代码确实可能是学习逻辑的最佳训练集了，如果他从海量的代码里，学习到了逻辑运算的模式，再加上大模型本身所学到的知识，如果融合在一起，是不是就是产生推理能力了呢 好像是这么回事，不过这个归纳推理，难道不也是从训练集统计而来的吗？如果这么看，那我们个人的推理能力是不是也是这么来的？ 话又说回来，推理的来源是不是也是统计？这么理解是不是也是可行的。
33410编辑于 2023-08-26 - 来自专栏机器之心
这个框架让LLaMA-7B完成安全推理
更快更准确的安全推理。 PUMA 甚至可以在 5 分钟内完成对 LLaMA-7B 的评估，生成一个词。作者表示这是首次采用 MPC 评估如此大的语言模型。 开源的端到端框架。 表 5：用 LLaMA-7B 执行安全推理的成本，#Input 表示输入句的长度，#Output 表示所生成的 token 的数量。 只需五分钟就能扩展用于 LLaMA-7B。 如表 5 所示，只需合理的成本，PUMA 就能支持大型语言模型 LLaMA-7B 实现安全推理。 研究者表示，这是首次使用 MPC 方案对 LLaMA-7B 实施评估。 PUMA虽然取得了一系列突破，但是它依然是一个学术成果，其推理耗时依然离落地存在一些距离。
70620编辑于 2023-08-08 - 来自专栏新智元
7B模型超越GPT4-V！港科大等发布「图推理问答」数据集GITQA：视觉图可提升推理能力
GITA-7B/13B，展示出了超越GPT-4V的图推理性能。 V+T）），评估了流行的闭源和开源大型语言模型（如GPT-4 turbo和Vicuna-7B/13B）以及大型多模态语言模型（如GPT-4V和LLaVA-7B/13B）的表现。 对于开源模型（7B，13B），同样地，使用双模态数据训练出的GITA模型平均表现最佳。这些观察结果验证了同时使用视觉和文本信息能够增强模型的图推理能力，相比单模态模型可以实现更好的性能。 更具体地说，GITA-7B（V+T）在几乎所有任务中表现优于LLaVA-7B（V-only）和Vicuna-7B（T-only）。而对于闭源模型，使用双模态在八个任务中的五个上达到了最高准确率。 研究者在仅使用视觉图信息的LLaVA-7B模型上对全部四个增强子集进行了单独的微调，其推理性能与数据增强前的比较如表4所示。
45610编辑于 2024-03-05 - 来自专栏小馒头学Python
第7章：深度剖析知识图谱中的知识推理：方法与应用探究
文章目录知识推理的概述知识推理的方法基于逻辑规则的推理基于知识表示学习的推理基于神经网络的推理混合推理应用场景结语知识推理的概述定义： 知识推理是一项复杂的认知过程，通过建立新的关联和逻辑推断，从已知信息中产生新的知识 混合推理的核心思想混合推理的核心思想在于通过组合不同推理方法的优势，提高整体系统的性能。这可以包括同时使用多个推理方法，或者将不同方法的输出进行集成。 混合推理的优势在于能够处理知识图谱中多样的关系、非线性结构以及不同领域知识的复杂性。混合推理的实现策略级联推理：将不同的推理方法串联起来，按照一定的顺序进行推理。 例如，首先使用基于逻辑规则的推理方法进行初步推理，然后利用知识表示学习或神经网络进行更深层次的推理。并行推理：同时使用多个推理方法，将它们的输出结合起来。这可以通过加权融合、投票机制等方式进行。 例如，基于逻辑规则的推理和基于神经网络的推理可以并行进行，最后将它们的输出进行综合考虑。逐步迭代优化：利用不同推理方法的迭代优化，逐步提升推理结果的精度。
1.2K10编辑于 2024-04-30 - 来自专栏CreateAMind
因果推理和概率推理难度一样？
其他参考： 最新Tractability易处理的因果推理 80PPT 概率编程with Fast Exact Symbolic Inference 快速准确符号推理 小数据大任务 实现框架开源 再发：迄今为止
51120编辑于 2022-11-22 - 来自专栏全栈程序员必看
复合命题及其推理答案_基本复合命题及其推理
推理规则为：否定一部分选言支，必须肯定其余选言支；肯定一部分选言支，不能肯定或否定其余支 2、不相容选言推理 （1）否定肯定不相容选言推理 指通过否定不相容选言命题的一部分选言支，进而肯定其余选言支的推理 （2）肯定否定不相容选言推理 指通过肯定不相容选言命题的一部分选言支，进而否定其余选言支的推理。 不相容选言推理的规则：肯定一部分选言支，必须否定其余选言支；否定一部分选言支，必肯定其余支。 互相的） 二、假言推理 假言推理是前提之一为假言命题，并根据假言命题的逻辑性进行推演的复合命题推演。包括假言（条件）直言推理、假言换位推理、假言连锁推理三种。 1、假言直言推理 假言直言推理是前提之一为假言命题，另一前提和结论为直言命题（性质命题）的推理。 2、假言换位推理 即以某种类型的假言命题为前提，通过其前后件的换位而得出另一假言命题推理。 （1）充分条件换位推理 其形式为：如果p，那么q，所以，只有q，才p。
86610编辑于 2022-09-20 LLM推理中 KVCache 提示推理效率的几点应用
LLM推理中KVCache提示推理效率的几点应用这是基于2025AICon大会的马腾的演讲整理而成通过kvCache的优化提升效率，如模型算法优化减少KVCache产生量，KVCache压缩，KVCache 复用，KVCache共享，前言在大模型应用的浪潮中，有一个问题始终困扰着从业者：如何在保证服务质量的同时，降低推理成本、提高吞吐效率？ 在分布式推理场景下，KVCache需要在不同的GPU甚至不同的服务器之间传输，带宽成为重要的瓶颈。管理复杂性也不可小觑。 分离指的是将KVCache从模型推理过程中分离出来，形成独立的服务。模型推理节点不再负责KVCache的存储和管理，而是专注于计算任务。 这种分离带来了几个好处：推理节点可以更专注于计算，提高资源利用率；KVCache服务可以独立扩展，适应不同的负载特征；不同推理节点之间可以共享KVCache，减少重复计算。
34610编辑于 2026-01-14- 来自专栏AgenticAI
仅需7G显存就能蒸馏自己的DeepSeek R1推理小模型
尽管 DeepSeek R1 以 680B 规模和卓越推理能力引发热潮，其庞大参数量却使企业难以大规模部署；相比之下，经过蒸馏处理的轻量专用模型则更契合企业实际应用需求。 simpleRL-reason[5]：在 8k MATH 数据集上复刻 R1-Zero 的范式 open-r1-multimodal[6]：R1 多模态的复刻项目 open-thoughts[7]：最成熟的 得益于这一改进，我们甚至可以在仅 7GB 显存的设备上，通过 Qwen2.5（1.5B）重现 R1-Zero 所带来的“顿悟时刻”；当然，如果硬件条件更宽裕，在 16GB 显存环境下，还可以蒸馏出类似 7B Qwen 2、8B LLama 3 或 14B Phi-4 等更大规模模型。 hkust-nlp/simpleRL-reason [6] open-r1-multimodal: https://github.com/EvolvingLMMs-Lab/open-r1-multimodal [7]
45700编辑于 2025-03-18 - 来自专栏DeepHub IMBA
解决推理能力瓶颈，用因果推理提升LLM智能决策
因果AI能够影响智能体AI生命周期的多个环节，特别是推理、可观察性和可解释性这几个方面。 LLM推理能力的现实困境 苹果最近的研究（论文1）深入分析了LLM的推理局限性。 LLM看起来无法进行真正的逻辑推理，只是在模仿训练数据中观察到的推理步骤。 要让AI真正具备推理和问题解决能力，它必须在算法层面理解因果关系。 像howso这样的公司正在通过集成因果AI、数据水印和归因推理来创建新的推理模型，目标是降低风险并提升准确性。 内省机制增强推理过程 从LLM训练转到推理阶段，我们来看看如何通过添加"内省"步骤来进一步改善智能体推理。 智能体AI的核心架构 一个完整的智能体AI平台包含几个关键模块。 ），推理不一致（特别是日期偏移推理，比如"上个月"这种表达），过早结束任务、重复调用工具、多步组合失败等。
43010编辑于 2025-11-15 - 来自专栏自然语言处理(NLP)论文速递
数学推理增强，Xwin-Math利用合成数据解锁LLaMA-2-7B潜力！
亿参数）规模的语言模型（LLaMA-2-7B）在数学问题解决方面已经展现出较强的潜力，并可使用基于合成数据的有监督微调方法促使模型愈发稳定地将数学能力激发出来。 这项研究发布在 arXiv 上，题为《Common 7B Language Models Already Possess Strong Math Capabilities》。 ，这一发现挑战了以往的观点，即强大的数学推理潜力并非仅限于大规模和数学相关预训练模型。 此外，研究还提供了对不同推理复杂性和错误类型下扩展行为的洞察。例如，随着 SFT 数据集规模的增加，模型在解决数学问题时的准确率遵循与推理步骤数量相关的幂律关系。 通过增加训练样本中长推理步骤的比例，可以显著提高模型解决难题的准确率。同时，研究还发现，计算错误比推理错误更容易被缓解。
31510编辑于 2024-03-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号