- 综合排序
- 最热优先
- 最新优先
- 来自专栏贾志刚-OpenCV学堂
OpenCV4.8 + YOLO11 C++ 部署推理
推理演示截图： 代码已经全部测试过了，可以直接调用： #include<opencv2/opencv.hpp> #include<iostream> #include<fstream> std::string frame.copyTo(image(roi)); float x_factor = image.cols /640.0f; float y_factor = image.rows /640.0f; // 推理
17410编辑于 2026-04-02 - 来自专栏AI SPPECH
11. 推理工程师职责：系统架构设计
系统架构设计直接影响到推理系统的性能、可靠性、可扩展性和成本，是推理工程师的核心职责之一。 因此，深入理解推理工程师在系统架构设计中的角色和职责，对于提升推理工程师的核心竞争力具有重要意义。 多模型支持：越来越多的推理系统支持同时加载多个模型，实现多模型协作推理。 这些趋势对推理工程师的系统架构设计能力提出了更高的要求，需要推理工程师不断学习和掌握新的技术和方法。 2. 推理工程师可以使用UML图绘制推理系统架构，提高架构设计的可视化和沟通效率。 请求调度：API网关将请求转发给调度中心，调度中心根据调度策略将请求分配给合适的推理节点。 推理执行：推理节点加载模型并执行推理，生成结果。
14910编辑于 2026-01-23 - 来自专栏小七的各种胡思乱想
解密Prompt系列11. 小模型也能思维链推理
考虑同一个问题其实有很多种解法，以及不同的解法间往往存在逻辑共性，与其让模型拟合单一的推理结果，不如让模型从多个推理路径中去抽象重要信息。 微调模型 微调样本 微调方式 1 FlanT5 250M~11B Few-shot-COT+Zero-shot-COT+Few-shot-Answer Only 蒸馏：Top5 Token的KL距离 2 T5 60M~11B Zero-shot-COT 这种情况下需要定制场景所需的推理逻辑，这时zero-shot肯定就不行了，需要few-shot来给出不同场景所需的不同推理链路。 这一点其实可能说明COT推理本身除了是一种生成风格，也是一种模型能力，所以不同的推理数据集之间存在可迁移性，我们在单任务推理中混入数学COT也发现有效果提升。
3.1K71编辑于 2023-07-14 - 来自专栏人人都是架构师
HugggingFace 推理 API、推理端点和推理空间使用介绍
本文将介绍 HuggingFace 的推理 API、推理端点和推理空间的使用方法。 页面小组件 推理 API 有两种使用方式，一种是在模型页面的右侧找到推理 API 的小组件页面，初始界面如下图所示： 我们可以在这个页面中上传图片，然后就可以看到模型进行推理运行，等一会后推理结果就出来了 (Endpoint) 推理 API 虽然方便，但推理 API 一般用于测试和验证，由于速率限制，官方不推荐在生产环境中使用，而且也不是所有模型都有提供推理 API。 信息确认无误后点击Create Endpoint按钮创建推理端点，创建成功后可以进入推理端点的详情页面看到如下信息： 其中Endpoint URL就是部署好的推理端点地址，我们可以跟调用推理 API 总结 本文介绍了 HuggingFace 的推理 API、推理端点和推理空间的使用方法，推理 API 是免费的，使用 HuggingFace 自建的 API 服务，推理端点是部署自己专属的 API 服务
4.4K40编辑于 2023-09-17 - 来自专栏CreateAMind
因果推理比概率推理更难吗？
统计和因果推理中的许多任务可以被解释为合适的形式语言中的蕴含问题。我们问，从计算的角度来看，对于因果概率语言来说，这些问题是否比纯概率（或“关联”）语言更困难。 尽管从多种意义上讲，因果推理确实更复杂——无论是表达上的还是推理上的——我们表明因果蕴涵（或可满足性）问题可以系统地、稳健地简化为纯粹的概率问题。因此，计算复杂性不会增加。 毫无争议的是，因果推理比纯粹的概率或统计推理更困难。后者似乎已经足够困难了：估计概率、根据过去的观察预测未来事件、确定统计显着性、在统计假设之间做出裁决——这些已经是艰巨的任务，长期陷入争议。 因果推理问题似乎只会让我们的任务变得更加困难。推断因果效应、预测干预结果、确定因果方向、学习因果模型——这些问题通常需要统计推理，但也对研究者提出更多要求。 从推理的角度来看，概率信息远远不能确定因果信息。 统计推断和因果推断的一个共同特征是，每种方法最突出的方法都可以（至少部分地）理解为试图将归纳问题转化为演绎问题。
27810编辑于 2024-03-25 - 来自专栏bit哲学院
知识推理
参考链接： 从列表中移除满足Java中给定谓词元素 目录 本体知识推理简介与任务分类 OWL本体语言 知识推理任务 OWL本体推理 实例化(materialization)的一个例子: OWL本体推理:不一致性检测 OWL本体非标准推理:计算辩解 本体推理方法与工具介绍 基于Tableaux运算的方法 Tableaux运算的正确性 相关工具简介 基于逻辑编程改写的方法 本体推理的局限: (1) 仅支持预定义的本体公理上的推理(无法针对自定义的词汇支持灵活推理) (2) 用户无法定义自己的推理过程 引入规则推理 (1) 可以根据特定的场景定制规则,以实现用户自定义的推理过程 上下位推理 查询的同时已经做出了推理! 查询触发推理 查询输入类别s和o之间有无上下位关系 添加推理机 OWL推理: 构建OWL推理机 构建一个含OWL推理功能的Model Model myMod = ModelFactory.createDefaultModel
2K00发布于 2020-12-13 - 来自专栏野生AI架构师
推理与统计：推理的来源是什么？
有文章提到chatgpt已经具备了复杂的推理能力，按照自己以前对这些大模型的了解，是不太相信的，那不过就是从训练数据提炼出来的观点，本质是一种统计的运算。 这时，我们能说他具备推理能力了吗，也许他只是记住了答案。 网文说，chatgpt的推理能力很可能是来源于代码的学习，代码确实可能是学习逻辑的最佳训练集了，如果他从海量的代码里，学习到了逻辑运算的模式，再加上大模型本身所学到的知识，如果融合在一起，是不是就是产生推理能力了呢 好像是这么回事，不过这个归纳推理，难道不也是从训练集统计而来的吗？如果这么看，那我们个人的推理能力是不是也是这么来的？ 话又说回来，推理的来源是不是也是统计？这么理解是不是也是可行的。
33410编辑于 2023-08-26 - 来自专栏CreateAMind
因果推理和概率推理难度一样？
其他参考： 最新Tractability易处理的因果推理 80PPT 概率编程with Fast Exact Symbolic Inference 快速准确符号推理 小数据大任务 实现框架开源 再发：迄今为止
51120编辑于 2022-11-22 - 来自专栏全栈程序员必看
复合命题及其推理答案_基本复合命题及其推理
推理规则为：否定一部分选言支，必须肯定其余选言支；肯定一部分选言支，不能肯定或否定其余支 2、不相容选言推理 （1）否定肯定不相容选言推理 指通过否定不相容选言命题的一部分选言支，进而肯定其余选言支的推理 （2）肯定否定不相容选言推理 指通过肯定不相容选言命题的一部分选言支，进而否定其余选言支的推理。 不相容选言推理的规则：肯定一部分选言支，必须否定其余选言支；否定一部分选言支，必肯定其余支。 互相的） 二、假言推理 假言推理是前提之一为假言命题，并根据假言命题的逻辑性进行推演的复合命题推演。包括假言（条件）直言推理、假言换位推理、假言连锁推理三种。 1、假言直言推理 假言直言推理是前提之一为假言命题，另一前提和结论为直言命题（性质命题）的推理。 2、假言换位推理 即以某种类型的假言命题为前提，通过其前后件的换位而得出另一假言命题推理。 （1）充分条件换位推理 其形式为：如果p，那么q，所以，只有q，才p。
86610编辑于 2022-09-20 LLM推理中 KVCache 提示推理效率的几点应用
LLM推理中KVCache提示推理效率的几点应用这是基于2025AICon大会的马腾的演讲整理而成通过kvCache的优化提升效率，如模型算法优化减少KVCache产生量，KVCache压缩，KVCache 复用，KVCache共享，前言在大模型应用的浪潮中，有一个问题始终困扰着从业者：如何在保证服务质量的同时，降低推理成本、提高吞吐效率？ 在分布式推理场景下，KVCache需要在不同的GPU甚至不同的服务器之间传输，带宽成为重要的瓶颈。管理复杂性也不可小觑。 分离指的是将KVCache从模型推理过程中分离出来，形成独立的服务。模型推理节点不再负责KVCache的存储和管理，而是专注于计算任务。 这种分离带来了几个好处：推理节点可以更专注于计算，提高资源利用率；KVCache服务可以独立扩展，适应不同的负载特征；不同推理节点之间可以共享KVCache，减少重复计算。
34710编辑于 2026-01-14- 来自专栏DeepHub IMBA
解决推理能力瓶颈，用因果推理提升LLM智能决策
因果AI能够影响智能体AI生命周期的多个环节，特别是推理、可观察性和可解释性这几个方面。 LLM推理能力的现实困境 苹果最近的研究（论文1）深入分析了LLM的推理局限性。 LLM看起来无法进行真正的逻辑推理，只是在模仿训练数据中观察到的推理步骤。 要让AI真正具备推理和问题解决能力，它必须在算法层面理解因果关系。 像howso这样的公司正在通过集成因果AI、数据水印和归因推理来创建新的推理模型，目标是降低风险并提升准确性。 内省机制增强推理过程 从LLM训练转到推理阶段，我们来看看如何通过添加"内省"步骤来进一步改善智能体推理。 智能体AI的核心架构 一个完整的智能体AI平台包含几个关键模块。 ），推理不一致（特别是日期偏移推理，比如"上个月"这种表达），过早结束任务、重复调用工具、多步组合失败等。
43010编辑于 2025-11-15 - 来自专栏量子位
2080 Ti就能跑70B大模型，上交大新框架让LLM推理增速11倍
上海交大IPADS实验室推出的开源推理框架PowerInfer，让大模型推理速度加快了11倍。 相比于llama.cpp，PowerInfer实现了高达11倍的加速，让40B模型也能在个人电脑上一秒能输出十个token。 推理速度最高11倍 在搭载x86 CPU和NVIDIA GPU的消费级硬件平台上，PowerInfer以参数量从7B到175B的一系列LLM模型为基准，对PowerInfer的端到端推理速度进行了测试， 也支持了INT4量化模型的推理。 这代表着PowerInfer借助稀疏激活和CPU/GPU混合推理，极大地弥合了消费级显卡到顶尖服务端计算卡的推理速度差距。
2.2K11编辑于 2023-12-21 - 来自专栏AI系统
【AI系统】推理参数
本文将介绍 AI 模型网络参数方面的一些基本概念，以及硬件相关的性能指标，为后面让大家更了解模型轻量化做初步准备。值得让人思考的是，随着深度学习的发展，神经网络被广泛应用于各种领域，模型性能的提高同时也引入了巨大的参数量和计算量（如下图右所示），一般来说模型参数量越大，精度越高，性能越好(如下图左所示)。
1.1K10编辑于 2024-12-02 - 来自专栏GiantPandaCV
VLLM推理流程解析
前言 本文在对VLLM进行解析时只关注单卡情况，忽略基于ray做分布式推理的所有代码。 0x1. 运行流程梳理 先从使用VLLM调用opt-125M模型进行推理的脚本看起： from vllm import LLM, SamplingParams # Sample prompts. prompts
2.2K32编辑于 2023-08-22 使用C++部署yolov11目标检测的tensorrt模型支持图片视频推理windows测试通过
下部署yolov11的tensorrt模型，并最终成功。 首先确保自己电脑是win10或者win11并确保电脑有一块nvidia显卡。 下面具体怎么部署，首先去yolov8官方仓库下载yolo11模型，这样下载yolo11n.pt https://github.com/ultralytics/assets/releases/download yolo11n.engine文件，我们将yolo11n.engine复制到build\Release文件夹 下面我们开始测试图片 yolov11-tensorrt.exe yolo11n.engine "test.jpg" 然后测试视频 yolov11-tensorrt.exe yolo11n.engine "car.mp4" 特别注意： tensorrt模型依赖于硬件，所以不是通用的需要在电脑重新转换
70010编辑于 2025-07-22- 来自专栏TechLead
知识推理技术解析
本部分旨在深入探讨知识推理的基础，包括知识的表示方法和推理机制，这些构成了知识推理系统的核心。 知识表示方法 知识表示是知识推理过程中的第一步，其质量直接影响到推理系统的效率和效果。 推理算法 自动推理还涉及到各种推理算法，如前向链推理（从已知事实出发，通过规则推导出新事实）和后向链推理（从目标事实出发，反向搜索满足条件的事实）。 推理算法深度分析 推理算法是知识推理过程中的关键，它决定了推理的效率和效果。本节将探讨几种主要的推理算法及其应用。 推理链优化 推理链优化是指在进行推理时，通过优化推理路径或步骤，提高推理效率和准确性。这涉及到对推理过程的监控和分析，以及动态调整推理策略，确保以最优的路径达成推理目标。 推理系统的优化 为了提高推理系统的性能和应用的广泛性，系统的优化成为了一个重要的研究方向。 并行化推理 并行化推理通过并行处理技术，使得推理任务可以在多个处理器上同时执行，显著提高推理的速度。
77810编辑于 2024-03-13 - 来自专栏CreateAMind
实现抽象视觉推理
抽象： 视觉推理对于构建理解世界并执行超越感知的问题解决的智能代理是必不可少的。可微分正向推理已经被开发来将推理与基于梯度的机器学习范例相结合。 记忆高效的推理和计算高效的学习使 NEUMANN 能够解决抽象的视觉推理,其中代理需要通过在不同场景中使用抽象概念的类比来执行推理。 这项任务要求特工们学习抽象的歌剧基于视觉场景的小数据推理和基于非观察场景的推理来回答问题。 相反,NEUMANN在计算图上执行推理,然后获得结果。 相比之下,DeepProbLog [29]中采用的(可微分)反向推理需要为新查询构建新的计算图,这使得推理成本很高。 因此,对于这些推理器来说,通过以可扩展的方式使用 GPU 来计算推理需要付出不小的努力。 6 结论 我们提出了 NEUMANN,一个内存高效的可微分正向推理机,它在推理图上传递消息。
49220编辑于 2023-09-01 - 来自专栏JadePeng的技术博客
知识图谱推理与实践 (2) -- 基于jena实现规则推理
本章，介绍 基于jena的规则引擎实现推理，并通过两个例子介绍如何coding实现。 规则引擎概述 jena包含了一个通用的规则推理机，可以在RDFS和OWL推理机使用，也可以单独使用。 推理机支持在RDF图上推理，提供前向链、后向链和二者混合执行模式。包含RETE engine 和 one tabled datalog engine。 可以通过GenericRuleReasoner来进行配置参数，使用各种推理引擎。要使用 GenericRuleReasoner，需要一个规则集来定义其行为. a)] 规则推理demo1--喜剧演员 例如，在一个电影知识图谱里，如果一个演员参演的电影的类型是喜剧片，我们可以认为这个演员是喜剧电影 推理规则： [ruleComedian: (? 规则推理demo2 -- 关联交易 我们再来看上一篇文章中提到的那个金融图谱： ?
4.3K30发布于 2020-02-18 - 来自专栏CreateAMind
主动推理研究机构和主动推理生态系统
2017;11: 95.doi:10.3389/fncom.2017.00095 9.Friston KJ，Daunizeau J，Kiebel SJ。强化学习还是主动推理？公共科学图书馆一号。 2020;11: e1542。doi:10.1002/wcs.1542 24.塞思AK，克里切利高清。将预测处理扩展到身体:情绪作为内感受性推理。行为和脑科学。2013.第227-228页。 2020;11: 598733.doi:10.3389/fpsyg.2020.598733 28.傅立杰，林敏，傅瑞思，裴祖洛，霍布森，翁多巴卡.主动推理，好奇心和洞察力。神经计算。 2023年4月17日[引用于2023年8月11日]。可用:https://rkauf.medium.com/the-gaia-attractor-41e5af33f3b7 111.主动推理研究所。 主动推理研究所91直播流。2021年11月30日[引用242023年7月]。
62030编辑于 2023-09-28 - 来自专栏三流程序员的挣扎
2022-11-11-工作
昨天的控件点击时通过外面，加个 listener。然后如果外部设定当前选中位置，也要刷新一下页面，所以刷新逻辑放到设置 textSelectedIndex 中去。
26730编辑于 2022-11-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号