- 综合排序
- 最热优先
- 最新优先
- 来自专栏Se7en的架构笔记
PD 分离推理架构详解
PD 分离推理架构的讲解视频可以在这里观看：https://www.bilibili.com/video/BV1ZTWAzmEEc 本文是 LLM 推理系列的第 6 篇，介绍 PD 分离推理架构 在大语言模型推理过程中 3 PD 分离的整体思路 直观的思路很简单：将 prefill 和 decode 分离到不同的 GPU 上，并为每个阶段定制并行策略。 这个实验表明，即便没有引入任何并行优化，仅仅通过简单的分离，Goodput 就提升了约 2 倍。 tab=t.0#heading=h.611v2r4aqubz 0.5x提升:PD分离KV cache传输的实践经验：https://zhuanlan.zhihu.com/p/1946608360259577576 分布式推理优化思路：http://zhuanlan.zhihu.com/p/1937556222371946860 图解大模型计算加速系列：分离式推理架构2，模糊分离与合并边界的chunked-prefills
2.9K20编辑于 2025-11-12 MindIE PD分离部署Q&A
PD分离是一种近年来兴起的推理加速部署方案，kimi、deepseek都进行了工程落地。 昇腾MindIE组件也支持了PD分离部署能力，参考链接为 https://www.hiascend.com/document/detail/zh/mindie/20RC1/mindieservice/servicedev 单机部署Q：运行deploy.sh 报错 core dumpA：大概率是选择了错误了 镜像，例如A2的机器使用了A3的镜像。 llama3-8B卡数输入输出concurrency发送频率prefill_bsdecode_bsPD混部1257-60710100PD分离2+3257-60100093218
52610编辑于 2025-05-27- 来自专栏Se7en的架构笔记
使用 NVIDIA Dynamo 部署 PD 分离推理服务
在这篇文章中，我们将介绍如何安装和运行 Dynamo，包括快速开始、PD 分离部署，以及在 Kubernetes 环境中的实践。 快速开始示例只需 1 个 GPU，而 PD 分离部署示例则需要 2 个 GPU。 在 Dynamo 的 PD 分离架构中，有 4 个核心组件： (decode) worker：执行 prefill 和 decode 请求。 接下来将演示如何通过 Dynamo 实现 PD 分离部署。首先打开一个新的终端并启动 decode worker 进程，将日志级别设置为 debug，以便我们进行观察。 接下来将展示如何在 Kubernetes 上部署 Dynamo，并且运行快速开始和 PD 分离示例。
1.1K10编辑于 2025-11-12 - 来自专栏腾讯云原生团队
在 TKE 上使用 NVIDIA Dynamo 部署 PD 分离的大模型
本文主要基于 dynamo 的分解预填充和解码推理阶段特性讲述如何在 TKE 上使用 dynamo 部署 PD 分离的大模型，分为以下六部分： 第一部分，介绍 Dynamo 的 PD 分离架构。 第二部分，给出一个在 TKE 上部署 PD 分离的示例。 第三部分，介绍 Dynamo 的监控组件。 第四部分，Dynamo PD 分离部署的性能验证，与 vLLM 进行对比。 一、Dynamo 的 PD 分离是如何实现的？ TTST 完全优于 baseline，主要原因可能是 PD 分离消除了两个阶段间的资源竞争。 如何确定 PD 分离部署中 Prefill Worker 和 Decode Worker 的比例？
3.5K10编辑于 2025-04-21 - 来自专栏AI前沿技术
大模型推理-基于prefill和decode阶段特性，PD分离，势在必行！
将两个阶段分别部署到不同的设备上，使用PD分离架构推理，各自优化，势在必行！ 3.3 PD 分离方案技术 DistServe 尝试优化了资源分配与并行策略达到更好的 GPU goodput，其整体的方案如图。 PD分离架构的优势是，两个阶段部署在不同服务器，可以各自优化，进而使得总的吞吐和计算设备利用率最大化。 PD分离架构一个核心点是，KV cache 的计算和传递，其影响着整个架构的调度设计。 Mooncake 进一步发展了PD分离架构，提出了一种以键值缓存（KVCache）为中心的分离式 LLM 服务架构。 最后介绍PD分离方案的技术路线。
1.3K10编辑于 2026-01-13 - 来自专栏python前行者
pd.isnull,pd.notnull
pandas中用函数isnull 和notnull 来检测数据丢失 python pandas判断缺失值一般采用 isnull()，生成的是所有数据的true／false矩阵 1 pd.isnull 2 pd.isnull().any() 列级别的判断，只要该列有为空或者NA的元素，就为True，否则False 则会判断哪些”列”存在缺失值 ? 3 pd[pd.isnull().values==True] 可以只显示存在缺失值的行列，清楚的确定缺失值的位置。 ?
1.9K30发布于 2019-03-25 - 来自专栏小明的博客
Pd实战
主要写一些平时看到的比较常用的一些pd的函数的应用，通过应用场景来辅助更好地理解pandas。 df = pd.DataFrame({ '爱好1': {'小明': '睡觉', '小红': '弹琴'}, '地点1': {'小明': '床上', '小红': '家'}, '爱好2': { pd.DataFrame({ '爱好1': {'小明': '睡觉', '小红': '弹琴'}, '地点1': {'小明': '床上', '小红': '家'}, '爱好2': { '小明': '骑马', '小红': '开车' }, '地点2': { '小明': '马场', '小红': '车上' } }) pd.lreshape ，但是也帮助我们更好地去理解pd的聚合函数。
41030编辑于 2022-09-06 - 来自专栏全栈程序员必看
pd.notnull
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/132524.html原文链接：https://javaforall.cn
35110编辑于 2022-06-29 - 来自专栏全栈程序员必看
USB PD快充协议_pd快充协议文件
Figure 2-1 APDO包格式 2.2 PD SNK RDY状态时，SNK请求改变充电电压电流 Reference to USB_PD_R2_0 V1.3 ‘p358, 8.3.2.8.4.1 非APPLE 2.4A协议开机会慢一点； 2）开机后进行PD协商，依然选取PDO2，前面50%会以较高功率充电（最大不超过15W且视温度及电量自动调控功率）； 3）充至50%-55%左右会降至9-11W ）探测，假如不支持USB PD，接着rerun_apsd()做QC3 & QC2探测，倘若QC3 & QC2探测失败，说明该电源适配器既不支持USB PD (包括QC4 PPS) 也不支持QC3 & QC2 ，维持在DCP正常充电状态； 2）如果充电器类型不是DCP，直接做USB PD探测。 Figure 3-2 Ballot Box Rules Figure 3-3 USB PD Ballot Box 4 USB PD芯片介绍 4.1 STM32软件实施USB PD协议 USB
3.4K20编辑于 2022-11-16 - 来自专栏DevOps
前后端分离及部署2
一般来说，要实现前后端分离，前端就需要开启一个本地的服务器来运行自己的前端代码，以此来模拟真实的线上环境，并且，也是为了更好的开发。 这样，前端就可以无忧无虑的开发了 2. 由于前后端分离后，前端和后台同时开发时，就可能遇到前端已经开发好一个页面了，可是却等待后台API接口的情况。
36910编辑于 2024-03-29 基于 openFuyao 的 AI 推理加速实战：智能路由与 PD 分离式 KVCache 架构揭秘
2. PD 分离分布式 KVCache（Parameter-Data Separation）传统推理场景下，KVCache（键值缓存）往往与推理引擎绑定部署，易导致数据耦合、缓存命中率低。 PD分离模式AI推理集成部署图hermes-router：智能路由模块。负责接收用户请求并根据路由策略转发到最优的推理后端服务。 Mooncake Connector：负责PD实例之间的KV Cache P2P高速传输。 性能提升主要来源于：智能路由降低请求调度延迟；PD 分离式 KVCache 提升缓存复用率；集群负载自动均衡，减少节点空转。 延迟对比图由上图可见，经过 PD 分离与智能路由的优化后，openFuyao 在多规模 Qwen 模型上的推理延迟显著下降。
45410编辑于 2025-12-11- 来自专栏分布式｜微服务｜性能优化｜并发编程｜源码分析
2.Sharding-JDBC 读写分离实战
artifactId>mysql-connector-java</artifactId> <version>8.0.19</version> </dependency> 读写分离配置 useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8 useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8
34520编辑于 2023-09-11 - 来自专栏数据派THU
独家 | 是时候和pd.read_csv(), pd.to_csv()说再见了
描述 Dask 和 DataTable DataFrame 转换到Pandas DataFrame 的代码片段 2. 2. 我将下面描述的每个实验重复了五次，以减少随机性并从观察到的结果中得出较公平的结论。我在下一节中报告的数据是五个实验的平均值。 3. 2. 但是，当我们超过一百万行时，Dask 的性能会变差，生成 Pandas DataFrame 所花费的时间要比 Pandas 本身多得多。 3. 2. 与实验 1 类似，DataTable 表现最好——相对于 Pandas 将保存过程提高了近8 倍。 结论 老实说，我算不上 CSV 的忠实粉丝。 原文标题：It’s Time to Say GoodBye to pd.read_csv() and pd.to_csv() 原文链接：https://towardsdatascience.com/its-time-to-say-goodbye-to-pd-read-csv-and-pd-to-csv
2K30编辑于 2022-12-16 - 来自专栏全栈程序员必看
type-c是pd_type c pd 什么意思
后面随着PD规范的面世，CC脚开始被用来做简单的半双工通信，用来完成POWER供给的协商 1.4 强悍的一统天下的态势 由于Type-C的扩展功能（SBU1/SBU2），大部分配件诸如耳机、 如下图指示了Source端，在连接SINK之前，CC1和CC2的框图模型： a）Source端使用一个MOSFET去控制电源，初始状态下，FET为关闭状态 b）Source端CC1/CC2均上拉至高电平 情况1：不使用PD SWAP，随机变成Source/SINK中的任意一个，CC脚波形为方波 情况2：自身倾向于作为Source，执行Try.SRC，问对面能不能做SINK呀，我做Source 情况3： 图X插入连接为CC1，因此TUSB564切换到TX1/RX1 图中插入连接为CC2，因此TUSB564切换到TX2/RX2，也就是根据CC引脚插入，识别插入方向 4.2 USB3.1和2 LANE 通过CC引脚，利用PD协议沟通，协商，PD Controler 发起请求，并得到回应 版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。
1.2K20编辑于 2022-11-10 - 来自专栏大数据文摘
是时候和pd.read_csv(), pd.to_csv()说再见了
描述 Dask 和 DataTable DataFrame 转换到Pandas DataFrame 的代码片段 2. 2. 我将下面描述的每个实验重复了五次，以减少随机性并从观察到的结果中得出较公平的结论。我在下一节中报告的数据是五个实验的平均值。 3. 2. 但是，当我们超过一百万行时，Dask 的性能会变差，生成 Pandas DataFrame 所花费的时间要比 Pandas 本身多得多。 3. 原文标题： It’s Time to Say GoodBye to pd.read_csv() and pd.to_csv() 原文链接： https://towardsdatascience.com /its-time-to-say-goodbye-to-pd-read-csv-and-pd-to-csv-27fbc74e84c5 点「在看」的人都变好看了哦！
1.5K20编辑于 2023-04-10 - 来自专栏Frost's Blog
Flask前后端分离实践：Todo App(2)
前序文章 Flask前后端分离实践：Todo App(1) 使用Vue.js搭建Todo App 本文项目地址: https://github.com/frostming/flask-vue-todo 在前后端分离的架构里，我们是怎么验证用户，保持会话的呢？ 那么使用前后端分离以后，所有对后端的请求都是以Ajax的方式发送，上面的方法依然有效！区别仅仅在于，我们将请求改成JSON格式之后，后端是从request.get_json()中获取的。 Html <template> <form action="/auth/login" method="post"> <h2>Login</h2> <div class="form-group
1.6K10发布于 2019-11-30 - 来自专栏李浩东的博客
SpringBoot 2.x ShardingSphere读写分离实战
透明化读写分离所带来的影响，让使用方尽量像使用一个数据库一样使用主从数据库，是读写分离中间件的主要功能。 在上一篇文章介绍到Mysql数据库的分库分表,本文将介绍读写分离 二. 本文计划 安装Mysql 配置主从复制 测试主从复制 读写分离 测试读写分离 三. Slave 数据库中的数据要一致； Master 开启二进制日志， Master 和 Slave 的 server_id 在局域网内必须唯一； 主从配置的简要步骤 Master 上的配置 1.安装数据库； 2. 的地址、 用户、 密码等信息（此步仅双向主从时需要) 开启同步 查看状态 1.主从服务器分别作以下操作： 1.1、版本一致 1.2、初始化表，并在后台启动mysql 1.3、修改root的密码 2. 可以查询看到走的从数据库 2.打开浏览器访问: http://localhost:8080/insert?id=1&name=lhd&age=12 插入一条数据 控制台打印: ?
1.2K20发布于 2019-06-26 - 来自专栏数据库开发优化
Milvus存算分离系列-2: target机制
而对于存算分离的架构，由于“存”和“算”发生的进程是不同的，那么如何保证数据的完整性&&一致性就是一个相比于存算一体更复杂的问题。 本文从这个问题出发，介绍milvus是怎么在存算分离架构下保证查询数据的完整性，一致性和实时性的。 本文涉及到一些前置知识，如果对读者造成困惑，可以参考MrPresent-Han：Milvus 存算分离系列-1：milvus架构简介存算分离的难点：数据实时更新在讨论数据完整性之前，我们首先要明确数据实时更新带来的困难 Milvus是怎么在存算分离架构下保证数据实时可见&&数据完整性的？这个问题的答案有2点，第一是target机制，第二是存算双写。 首先是‘新上旧未下’的情况，即在某个时间点，新生成segment4已经加载了，但是segment2还没卸载，此时client会看到segment2上冗余的数据。
67010编辑于 2023-09-17 - 来自专栏PingCAP的专栏
PD 调度策略最佳实践
例如“将 Region 2 的 Leader 迁移至 Store 5”，“将 Region 2 的副本迁移到 Store 1, 4, 5” 等。 PD 将这些信息梳理并转存供调度来决策。 2. 生成调度 不同的调度器从自身的逻辑和需求出发，考虑各种限制和约束后生成待执行的 Operator。 还支持绕过调度器，直接通过 pd-ctl 来创建或删除 Operator，如下所示： operator add add-peer 2 5：在 Store 5 上为 Region 2 添加 Peer operator add transfer-leader 2 5：将 Region 2 的 Leader 迁移至 Store 5 operator add split-region 2：将 Region 2 拆分为 2 个大小相当的 Region operator remove 2：取消 Region 2 当前待执行的 Operator 调度参数调整 使用 pd-ctl 执行 config show 命令可以查看所有的调度参数
1.5K20发布于 2019-10-12 - 来自专栏python3
Python处理CSV,Excel,PD
如一下格式：27,20,14,15,14,12,94,64,37,1015,1013,1009,7,5,2,21,8,35,0.00,,,152 .csv文件可以直接用excel或者类似软件打开，样子都是我们常见的表格形式 True) #向sheet页中写入数据 sheet1.write(0,0,'this should overwrite1') sheet1.write(0,1,'aaaaaaaaaaaa') sheet2. write(0,0,'this should overwrite2') sheet2.write(1,2,'bbbbbbbbbbbbb') #-----------使用样式--------------- font #使用样式 sheet3.write(0,1,'some bold Times text',style) #保存该excel文件,有同名文件时直接覆盖 workbook.save('test2. PdfFileWriter() #生成一个空白的pdf文件 for fileName in pdfFiles: pdfReader = PyPDF2.PdfFileReader(open
2K20发布于 2020-01-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号