- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器之心
一键启动在线推理服务，轻松实现在线部署，这有个「炼丹」利器
，不仅自己可以使用它做推理，而且还可以让其他人使用手机、电脑等设备通过客户端或浏览器一起使用推理服务，瞬间让你人气值爆棚！下面我们就先介绍一种最基础的用法，0 代码完成在线服务部署！ 0 代码完成在线服务部署 使用 Paddle Serving 部署在线推理服务的过程非常简单，主要分为 3 个步骤，获取可用于部署在线服务的模型、启动服务端和使用客户端访问服务端进行推理，也就是说最多 可以参考如下地址： https://github.com/PaddlePaddle/Serving/blob/develop/doc/SAVE_CN.md 在获取模型后，用户仅需要在服务器上执行如下命令即可部署推理在线服务 以上过程可以说是完全 0 代码部署在线推理服务，当然这只是最简单的 Paddle Serving 的使用方式，其中服务端和客户端之间是使用的 HTTP 协议通信，我们可以把这种在线服务称之为 Web 服务 启动推理服务 使用如下命令启动图像分割在线服务，服务端口号为 9393。
1.4K20发布于 2020-06-29 - 来自专栏机器之心
在线推理和在线学习，从两大层级看实时机器学习的应用现状
解决方案 要让系统具备在线预测能力，它必须要用两个组件： 快速推理：模型要能在毫秒级时间内给出预测结果； 实时数据管道：能够实时处理数据、将其输入模型和返回预测结果的流程管道。 1. 快速推理 当模型太大或预测时间太长时，可采用的方法有三种： 让模型更快（推理优化） 比如聚合运算、分散运算、内存占用优化、针对具体硬件编写高性能核等。 当这些公司想做实时推理时，它们需要为流式数据构建一个单独的数据管道。 4. Python 不兼容 Python 算得上是机器学习的通用语言，但 Kafka 和 Flink 基于 Java 和 Scala 运行。引入流式处理可能会导致工作流程中的语言不兼容。 尽管大多数公司还在争论在线推理和在线学习是否有价值，但某些正确部署的公司已经看到了投资回报，它们的实时算法可能将成为它们保持竞争优势的重要因素。
1.4K20发布于 2021-01-20 - 来自专栏CreateAMind
4个视觉符号推理数据集超简介
//github.com/xyang23/CLEVRER-Humans1.0 https://sites.google.com/stanford.edu/clevrer-humans/home 4
59730编辑于 2023-02-14 - 来自专栏猴子数据分析
游戏行业实战案例4：在线时长分析
问题4： 统计各玩家每天总在线时长分为两步： 第一步，计算各玩家每天每次登录游戏后的在线时长； 第二步，对各玩家每天每次的在线时长进行求和，得到各玩家每天的总在线时长。 1. 计算各玩家每天的总在线时长 使用group by子句对角色id、日期进行分组，再使用sum()函数对每个玩家每天的每次在线时长进行求和，就可以得到各玩家每天的总在线时长。 _min #使用round()函数保留2位小数 from c group by 角色id,日期; 查询结果如下： 问题4： 统计各玩家每天总在线时长分为两步： 第一步，计算各玩家每天每次登录游戏后的在线时长 ； 第二步，对各玩家每天每次的在线时长进行求和，得到各玩家每天的总在线时长。 计算各玩家每天的总在线时长 使用group by子句对角色id、日期进行分组，再使用sum()函数对每个玩家每天的每次在线时长进行求和，就可以得到各玩家每天的总在线时长。
4.5K30编辑于 2022-05-19 - 来自专栏技术开源分享
go-admin在线开发平台学习-4
3、从viewModel转换成数据库Dto 4、附上创建人等属性 5、调用数据库创建方法，根据返回结果返回前台json内容 数据权限检查 go-admin可以选择开启数据权限检查，开启后的表现为： 根据控制台配置的内容
1.2K50发布于 2021-02-19 - 来自专栏猴子数据分析
游戏行业实战案例 4 ：在线时长分析
游戏开服前两天（ 2022-08-13 至 2022-08-14 ）的角色登录和登出日志如下 一天中，玩家可以多次登录登出游戏，请使用 SQL 分析出以下业务问题： 请根据玩家登录登出的时间，统计各玩家每天总在线时长情况 问题 4 ： 统计各玩家每天总在线时长分为两步： 第一步，计算各玩家每天每次登录游戏后的在线时长； 第二步，对各玩家每天每次的在线时长进行求和，得到各玩家每天的总在线时长。 1. 计算各玩家每天每次登录游戏后的在线时长 玩家每次登录后的在线时长=每次的登出时间-每次对应的登录时间，因此，我们需要对玩家的登录时间、登出时间进行一一对应。 (登录时间) as 每次在线时长 from c; unix_timestamp() 函数可以将日期时间格式转化成 10 位数的时间戳格式，单位为秒，因此，为了得到单位为分钟的在线时长，我们需要在登出登录时间相减后再除以 计算各玩家每天的总在线时长 使用 group by 子句对角色 id 、日期进行分组，再使用 sum() 函数对每个玩家每天的每次在线时长进行求和，就可以得到各玩家每天的总在线时长。
66710编辑于 2023-09-06 - 来自专栏GPUS开发者
NVFP4：打破GPU推理的内存墙，4位浮点时代来了
从痛点说起：为什么4位精度成为刚需？ AI推理的内存挑战是多维度的。首先是模型权重本身的庞大体积。 整个过程在代码层面可能只需要十几行 ，但需要注意选择有代表性的校准数据 ，以保证量化后的缩放因子能覆盖实际推理时的数值分布。 推理框架的集成也在快速推进。 首先是适用场景的判断：NVFP4特别适合推理密集、内存受限的场景 ，如大batch推理服务、长上下文对话、边缘设备部署。 生态方面 ，越来越多的推理框架、训练框架、模型仓库开始原生支持NVFP4 ，降低了开发者的迁移成本。 但4位精度也不是终点。学术界已经在探索更激进的方案 ，如3位甚至2位精度 ，以及动态比特宽度分配。 通过精巧的编码设计、层级化的缩放机制、硬件软件的深度协同， NVFP4证明了4位浮点足以支撑千亿参数模型的推理和训练。
79110编辑于 2026-01-27 - 来自专栏机器之心
CPU推理提升4到5倍，苹果用闪存加速大模型推理，Siri 2.0要来了？
结合使用窗口和稀疏性预测可以为每个推理查询仅加载 2% 的闪存 FFN 层。他们还提出了静态内存预分配，最大限度减少了 DRAM 内的传输并减少了推理延迟。 与 CPU 和 GPU 中的 naive 实现相比，优化该成本模型并有选择地按需加载参数的闪存策略可以运行两倍于 DRAM 容量的模型，并将推理速度分别提升 4-5 倍和 20-25 倍。 对于 32 位模型，每次读取的数据块大小为 2dmodel × 4 字节 = 32 KiB，因为它涉及行和列的连接。 在本文的模型中使用大小为 4 的窗口，每个 token 需要访问 3.1% 的前馈网络（FFN）神经元。 在 32 位模型中，这相当于每次读取的数据块大小为 35.5 KiB（按 2dmodel ×4 字节计算）。
51710编辑于 2023-12-28 - 来自专栏数据派THU
【微软Amit Sharma】在线系统中的因果推理：方法、陷阱和最佳实践
从推荐买什么，看什么电影，到选择看什么新闻，关注什么人，申请什么工作，在线系统已经成为我们日常生活的重要组成部分。一个自然要问的问题是这些社会技术系统如何影响我们的行为。 幸运的是，有大量关于因果推理的研究可供我们借鉴。在本教程的第一部分中，我将展示反事实推理对研究社会技术系统的价值，通过展示基于相关性的预测建模如何可能适得其反。 实践练习的目标是了解不同因果推理方法的缺陷，并获得用混乱的真实世界数据进行因果推理的最佳实践。
42430编辑于 2022-07-12 - 来自专栏GiantPandaCV
NCNN+INT8+YOLOV4量化模型和实时推理
【GiantPandaCV导语】本文记录了作者使用NCNN量化YOLOV4模型并进行推理的全过程，过程比较详细，希望对想使用NCNN这一功能的读者有帮助。 /ncnn2int8 yolov4-tiny-opt.param yolov4-tiny-opt.bin yolov4-tiny-int8.param yolov4-tiny-int8.bin yolov4 把fp16禁掉，不用了 换成int8推理 把线程改成你之前制作int8模型的那个线程 模型也替换掉 具体如下： ? 代码需要修改的几点 走到这里，就可以愉快的推理了 ? 后续会尝试更多模型的int8推理，做对比实验给各位网友看 所有的文件和修改后的代码放在这个仓库里，欢迎大家白嫖： https://github.com/pengtougu/ncnn-yolov4-int8
3K30发布于 2021-05-18 - 来自专栏DeepHub IMBA
NVFP4量化技术深度解析：4位精度下实现2.3倍推理加速
传统INT4量化在推理过程中无法直接处理4位数值，必须先将INT4权重反量化为16位数值才能进行计算，这一额外步骤虽然在SGLang和vLLM等现代推理框架中已经高度优化，但仍然产生计算开销并限制了整体速度 NVFP4彻底消除了这一性能瓶颈。Blackwell Tensor Core原生支持NVFP4运算，张量在整个推理流程中保持4位格式，前提是权重和激活均采用NVFP4量化。 ，使权重在整个推理过程中保持NVFP4格式，因为激活采用相同数据类型。 FlashInfer用于加速vLLM推理中的采样过程，默认会启用但可能会导致NVFP4模型崩溃。 推理性能突破 尽管NVFP4在压缩率和精度方面并无显著优势，但在推理速度上表现卓越，大幅超越测试中的所有其他量化模型： 得益于Blackwell GPU对NVFP4数据类型的原生加速，NVFP4模型比INT4
91210编辑于 2025-11-15 - 来自专栏机器之心
GPT-4拿下最难数学推理数据集新SOTA，新型Prompting让大模型推理能力狂升
该方法大幅超过 GPT-4+CoT。 比如，在现在最难的数学推理数据集 MATH 上，GPT-4+CoT 只有 42.5%，而 GPT-4+PHP 在 MATH 数据集的 Nember Theory (数论) 子集提升 6.1%, 将 MATH PHP 尝试模拟更加类人推理过程：对上次的推理过程进行处理，然后合并到初始的问题当中，询问 LLM 进行再次推理。当最近两次推理答案一致时，得到的答案是准确的，将返回最终答案。 GPT-3.5-Turbo 和 GPT-4 作者按照以前的工作设置，使用文本生成模型进行实验。 在部署 GPT-4 模型后，作者能够在 SVAMP、GSM8K、AQuA 和 MATH 基准测试上实现新的 SOTA 性能。作者提出的 PHP 方法不断改善了 GPT-4 的性能。
48020编辑于 2023-05-16 - 来自专栏PaddlePaddle
Paddle Serving一键式启动在线推理服务，调参工程师也可以轻松实现在线部署
，不仅自己可以使用它做推理，而且还可以让其他人使用手机、电脑等设备通过客户端或浏览器一起使用推理服务，瞬间让你人气值爆棚！下面我们就先介绍一种最基础的用法，0 代码完成在线服务部署！ 0代码完成在线服务部署 使用 Paddle Serving 部署在线推理服务的过程非常简单，主要分为 3 个步骤，获取可用于部署在线服务的模型、启动服务端和使用客户端访问服务端进行推理，也就是说最多 3 可以参考如下地址： https://github.com/PaddlePaddle/Serving/blob/develop/doc/SAVE_CN.md 在获取模型后，用户仅需要在服务器上执行如下命令即可部署推理在线服务 以上过程可以说是完全 0 代码部署在线推理服务，当然这只是最简单的 Paddle Serving 的使用方式，其中服务端和客户端之间是使用的 HTTP 协议通信，我们可以把这种在线服务称之为 Web 服务 启动推理服务 使用如下命令启动图像分割在线服务，服务端口号为 9393。
1.9K30发布于 2020-06-29 - 来自专栏贾志刚-OpenCV学堂
Tensorflow + OpenCV4 安全帽检测模型训练与推理
相关的命令行参数如下： 得到pb文件之后，使用OpenCV4.x中的tf_text_graph_faster_rcnn.py脚本，转换生成graph.pbtxt配置文件。 所以在推理预测阶段，我们可以直接使用输入图像的真实大小，模型的输出格式依然是1x1xNx7，按照格式解析即可得到预测框与对应的类别。 # 读取测试图像 image = cv.imread("D:/123.jpg") h, w = image.shape[:2] cv.imshow("input", image) # 加载模型，执行推理 score = detection[2] if score > 0.4: left = detection[3]*w top = detection[4] 8, 0) else: cv.rectangle(image, (box[0], box[1]), (box[2], box[3]), (255, 0, 255), 4, 8,
2.8K20发布于 2020-09-08 - 来自专栏机器学习/数据可视化
NLP经典书籍鱼书笔记4：对比计数统计和推理
图片 对比计数统计和推理两种方法 基于计数的方法 基于计数的方法是根据一个单词周围的单词的出现次数来表示该单词。 基于推理的方法 使用神经网络的方法，通常在mini-batch数据上进行学习。 每次只需要学习部分数据；并且可以使用多台机器、多个GPU并行执行加速运算。 大致过程： 基于推理的方法引入某种模型（比如神经网络） 模型接收的上下文作为输入，输出各个单词的出现概率 模型产物：获得单词的分布式表示 神经网络中单词的处理方法 神经网络不能直接处理单词，需要将单词转化成固定长度的向量 两个经典的Word2Vec中使用的模型： CBOW模型 skip-gram模型 CBOW模型推理 CBOW模型是根据上下文预测目标词的模型。 , [3, 1], [4, 5], [1, 6]]) target # 目标值 array([1, 2, 3, 4, 1, 5]) convert_one_hot
84110编辑于 2023-02-28 - 来自专栏人人都是架构师
HugggingFace 推理 API、推理端点和推理空间使用介绍
本文将介绍 HuggingFace 的推理 API、推理端点和推理空间的使用方法。 页面小组件 推理 API 有两种使用方式，一种是在模型页面的右侧找到推理 API 的小组件页面，初始界面如下图所示： 我们可以在这个页面中上传图片，然后就可以看到模型进行推理运行，等一会后推理结果就出来了 (Endpoint) 推理 API 虽然方便，但推理 API 一般用于测试和验证，由于速率限制，官方不推荐在生产环境中使用，而且也不是所有模型都有提供推理 API。 信息确认无误后点击Create Endpoint按钮创建推理端点，创建成功后可以进入推理端点的详情页面看到如下信息： 其中Endpoint URL就是部署好的推理端点地址，我们可以跟调用推理 API 总结 本文介绍了 HuggingFace 的推理 API、推理端点和推理空间的使用方法，推理 API 是免费的，使用 HuggingFace 自建的 API 服务，推理端点是部署自己专属的 API 服务
4.4K40编辑于 2023-09-17 - 来自专栏福大大架构师每日一题
支持Meta Llama 4+微软Phi 4推理，性能大飞跃！
一、震撼新品：支持顶尖大模型 • Meta Llama 4多模态模型加入阵营 作为当下最先进的多模态人工智能模型，Llama 4赋能ollama多场景应用，视觉与文本的完美融合，极大拓宽AI的想象空间。 • 微软Phi 4系列推理模型全支持 引入了尖端的Phi 4推理模型及轻量级Phi 4 mini推理模型，两款新模型引领推理效能新高度，复杂问题解析更加精准高效。 • 解决Tensor转运算符冲突错误 彻底排除运行模型时因推理库冲突导致的“tensor->op == GGML_OP_UNARY”错误，提升稳定性。
76320编辑于 2025-05-04 - 来自专栏深度学习自然语言处理
轻松实现多模态（视觉）模型离线推理&在线服务
LMDeploy 的 VLM 推理，主打简单、好用。6 行代码完成推理，1 行命令搭建服务。 离线推理 使用 LMDeploy pipeline 接口推理 VL 模型仅需 6 行代码，这得益于 LMDeploy 把 VL 模型中的视觉部分，和 LLM 模型都封装到推理 pipeline。 当选择 modelscope hub 上的模型时，需要先设置环境变量 export LMDEPLOY_USE_MODELSCOPE=True 第 4 行，读取图片。 sess.response.text) sess = pipe.chat('make the story focusing on the dog', sess) print(sess.response.text) 在线服务 temperature=0.8, top_p=0.8) print(response) 如搭建 gradio 服务，在浏览器中打开 http://0.0.0.0:8000，就可以通过 WebUI 与模型在线交流啦
84610编辑于 2024-04-11 - 来自专栏蔻丁杂记
在线音视频（MP3MP4）测试文件
MP3 可以直接在在线听力网站上找，如：在线英语听力室 其它现成的： 时长：28.33https://www.cambridgeenglish.org/images/153149-movers-sample-listening-test-vol2 时长：31.15https://www.cambridgeenglish.org/images/506891-a2-key-for-schools-listening-sample-test.mp3 m4a 猫抓 - Chrome 网上应用店 MP4 视频MP4文件测试使用的链接 - 简书 http://vfx.mtime.cn/Video/2019/03/19/mp4/190319212559089721 .mp4http://vfx.mtime.cn/Video/2019/03/18/mp4/190318231014076505.mp4 Other Download Sample Videos / Dummy
2.1K10编辑于 2024-12-25 - 来自专栏神器专栏
LOGO效果图样机在线生成｜4个宝藏神器
别担心今天就给大家整理了：4个优质Logo效果图在线生成神器！只需上传logo，即可在线生成并下载使用。 01. 不足之处： 对于设计小白来讲操作略显复杂，整个编辑界面做得非常贴近像一个在线版ps，学习成本高。 免费用户可以使用下载的模板数量受限。 04. Logo效果图生成神器 上面推荐的三款logo效果图在线设计工具，由于都是国外的，可能访问速度会比较慢，并且不是完全免费，带有水印限制。 真正良心好用小众的国产工具，完全免费不限次数无水印的Logo效果图在线生成神器，推荐指数。 操作简单，一键上传logo，实时生成预览效果，方便对比下载。
6.1K40编辑于 2021-12-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号