- 综合排序
- 最热优先
- 最新优先
- 来自专栏Se7en的架构笔记
PD 分离推理架构详解
PD 分离推理架构的讲解视频可以在这里观看：https://www.bilibili.com/video/BV1ZTWAzmEEc 本文是 LLM 推理系列的第 6 篇，介绍 PD 分离推理架构 在大语言模型推理过程中 3 PD 分离的整体思路 直观的思路很简单：将 prefill 和 decode 分离到不同的 GPU 上，并为每个阶段定制并行策略。 此时： Goodput (2P1D) = min(5.6 × 2, 10) = 10 reqs/s ÷ 3 GPUs ≈ 3.3 rps/GPU。 PD 分离：llm-d 利用 vLLM 的分离式推理能力，将 prefill 和 decode 拆分到独立实例运行，并通过高性能传输库（如 NIXL）进行通信。 当应用程序无法在 TTFT 和 TPOT 之间进行权衡，而是要同时遵守这两者时，PD 分离就成为更好的选择。
2.9K20编辑于 2025-11-12 MindIE PD分离部署Q&A
PD分离是一种近年来兴起的推理加速部署方案，kimi、deepseek都进行了工程落地。 昇腾MindIE组件也支持了PD分离部署能力，参考链接为 https://www.hiascend.com/document/detail/zh/mindie/20RC1/mindieservice/servicedev llama3-8B卡数输入输出concurrency发送频率prefill_bsdecode_bsPD混部1257-60710100PD分离2+3257-60100093218
52610编辑于 2025-05-27- 来自专栏Se7en的架构笔记
使用 NVIDIA Dynamo 部署 PD 分离推理服务
在这篇文章中，我们将介绍如何安装和运行 Dynamo，包括快速开始、PD 分离部署，以及在 Kubernetes 环境中的实践。 快速开始示例只需 1 个 GPU，而 PD 分离部署示例则需要 2 个 GPU。 在 Dynamo 的 PD 分离架构中，有 4 个核心组件： (decode) worker：执行 prefill 和 decode 请求。 接下来将演示如何通过 Dynamo 实现 PD 分离部署。首先打开一个新的终端并启动 decode worker 进程，将日志级别设置为 debug，以便我们进行观察。 接下来将展示如何在 Kubernetes 上部署 Dynamo，并且运行快速开始和 PD 分离示例。
1.1K10编辑于 2025-11-12 - 来自专栏腾讯云原生团队
在 TKE 上使用 NVIDIA Dynamo 部署 PD 分离的大模型
本文主要基于 dynamo 的分解预填充和解码推理阶段特性讲述如何在 TKE 上使用 dynamo 部署 PD 分离的大模型，分为以下六部分： 第一部分，介绍 Dynamo 的 PD 分离架构。 第二部分，给出一个在 TKE 上部署 PD 分离的示例。 第三部分，介绍 Dynamo 的监控组件。 第四部分，Dynamo PD 分离部署的性能验证，与 vLLM 进行对比。 一、Dynamo 的 PD 分离是如何实现的？ TTST 完全优于 baseline，主要原因可能是 PD 分离消除了两个阶段间的资源竞争。 如何确定 PD 分离部署中 Prefill Worker 和 Decode Worker 的比例？
3.5K10编辑于 2025-04-21 - 来自专栏AI前沿技术
大模型推理-基于prefill和decode阶段特性，PD分离，势在必行！
将两个阶段分别部署到不同的设备上，使用PD分离架构推理，各自优化，势在必行！ 3.3 PD 分离方案技术 DistServe 尝试优化了资源分配与并行策略达到更好的 GPU goodput，其整体的方案如图。 PD分离架构的优势是，两个阶段部署在不同服务器，可以各自优化，进而使得总的吞吐和计算设备利用率最大化。 PD分离架构一个核心点是，KV cache 的计算和传递，其影响着整个架构的调度设计。 Mooncake 进一步发展了PD分离架构，提出了一种以键值缓存（KVCache）为中心的分离式 LLM 服务架构。 最后介绍PD分离方案的技术路线。
1.3K10编辑于 2026-01-13 - 来自专栏python前行者
pd.isnull,pd.notnull
pandas中用函数isnull 和notnull 来检测数据丢失 python pandas判断缺失值一般采用 isnull()，生成的是所有数据的true／false矩阵 1 pd.isnull 2 pd.isnull().any() 列级别的判断，只要该列有为空或者NA的元素，就为True，否则False 则会判断哪些”列”存在缺失值 ? 3 pd[pd.isnull().values==True] 可以只显示存在缺失值的行列，清楚的确定缺失值的位置。 ?
1.9K30发布于 2019-03-25 - 来自专栏小明的博客
Pd实战
主要写一些平时看到的比较常用的一些pd的函数的应用，通过应用场景来辅助更好地理解pandas。 我们可能会拿到形如以下形式的数据: 这样的数据集存在几个列的内容完全一致，因此我们希望实现的一个功能就是将这几个列的值合成一个列，得到形如下图的数据形式: import pandas as pd df = pd.DataFrame({ '爱好1': {'小明': '睡觉', '小红': '弹琴'}, '地点1': {'小明': '床上', '小红': '家'}, '爱好2': { \d)$') df = df.explode('爱好-地点') df[['爱好', '地点']] = df['爱好-地点'].apply(pd.Series) df # 方法3 使用已有函数 df = pd.DataFrame({ '爱好1': {'小明': '睡觉', '小红': '弹琴'}, '地点1': {'小明': '床上', '小红': '家'}, '爱好2': {
41030编辑于 2022-09-06 - 来自专栏全栈程序员必看
pd.notnull
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/132524.html原文链接：https://javaforall.cn
35110编辑于 2022-06-29 - 来自专栏全栈程序员必看
USB PD快充协议_pd快充协议文件
PPS模式时，需要Sink每隔10秒左右发送一个Request到Src，重新协商PPS电压电流对（参看Figure 2-3）。 2.6 iPhone USB PD 使用的芯片是CYPD2104和BQ25890的组合，iPhone X整体PD快充的电源管理策略如下： 1）关机状态下不进行PD沟通，APPLE 2.4A协议生效。 3.2 驱动代码 高通Type-C、APSD（BC1.2）和QC的驱动代码在drivers/power下；而USB PD的代码在drivers/usb/pd下面，所以你如果把drivers/usb/pd 下的，所以如果你既要禁止USB PD，又要让USB可以枚举，那么需要把drivers/usb/pd下的extcon代码移植到drivers/power下面。 Figure 3-2 Ballot Box Rules Figure 3-3 USB PD Ballot Box 4 USB PD芯片介绍 4.1 STM32软件实施USB PD协议 USB
3.4K20编辑于 2022-11-16 基于 openFuyao 的 AI 推理加速实战：智能路由与 PD 分离式 KVCache 架构揭秘
为此，openFuyao 社区推出了面向 AI 推理场景的算力释放创新组件，其中“智能路由”与“PD 分离式分布式 KVCache”架构成为关键突破。 PD分离模式AI推理集成部署图hermes-router：智能路由模块。负责接收用户请求并根据路由策略转发到最优的推理后端服务。 四、性能对比：延迟下降，算力利用率提升在实际测试中，使用智能路由 + PD 分离式 KVCache 后，openFuyao 推理集群的性能提升显著。 性能提升主要来源于：智能路由降低请求调度延迟；PD 分离式 KVCache 提升缓存复用率；集群负载自动均衡，减少节点空转。 延迟对比图由上图可见，经过 PD 分离与智能路由的优化后，openFuyao 在多规模 Qwen 模型上的推理延迟显著下降。
45410编辑于 2025-12-11- 来自专栏数据派THU
独家 | 是时候和pd.read_csv(), pd.to_csv()说再见了
原文标题：It’s Time to Say GoodBye to pd.read_csv() and pd.to_csv() 原文链接：https://towardsdatascience.com/its-time-to-say-goodbye-to-pd-read-csv-and-pd-to-csv
2K30编辑于 2022-12-16 - 来自专栏全栈程序员必看
type-c是pd_type c pd 什么意思
Type-C Port的Data Role、Power Role 三、Type-C的Data/Power Role识别协商/Alt Mode 四、如何进行数据链路的切换 五、相关参数/名词/状态解释 六、PD 1.2传输速率，供电效能 最大传输速度10Gb/s,即是USB 3.1 Gen2标准，也支持4 Lane DP模式，传输高清图像，在供电部分，最大可以支持100W（20V/5A） 1.3 后面随着PD规范的面世，CC脚开始被用来做简单的半双工通信，用来完成POWER供给的协商 1.4 强悍的一统天下的态势 由于Type-C的扩展功能（SBU1/SBU2），大部分配件诸如耳机、 设备刚连接时作为哪一种角色，由端口的Power Role（参考后面的介绍）决定；后续也可以通过switch过程更改（如果支持USB PD协议的话）。 通过CC引脚，利用PD协议沟通，协商，PD Controler 发起请求，并得到回应 版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。
1.2K20编辑于 2022-11-10 - 来自专栏大数据文摘
是时候和pd.read_csv(), pd.to_csv()说再见了
原文标题： It’s Time to Say GoodBye to pd.read_csv() and pd.to_csv() 原文链接： https://towardsdatascience.com /its-time-to-say-goodbye-to-pd-read-csv-and-pd-to-csv-27fbc74e84c5 点「在看」的人都变好看了哦！
1.5K20编辑于 2023-04-10 - 来自专栏PingCAP的专栏
PD 调度策略最佳实践
作者：黄梦龙 众所周知，PD 是整个 TiDB 集群的核心，负责全局元信息的存储以及 TiKV 集群负载均衡调度，本文将详细介绍 PD 调度系统的原理，并通过几个典型场景的分析和处理方式，分享调度策略的最佳实践和调优方法 Scheduler Scheduler（调度器）是 PD 中生成调度的组件。PD 中每个调度器是独立运行的，分别服务于不同的调度目的。 本文简要介绍 Metrics 和 pd-ctl 两种方式，更具体的信息可以参考官方文档中 PD 监控 以及 PD Control 使用 的章节。 如果 Merge Operator 生成的速度已经有几百 opm，想进一步加快，还可以把 patrol-region-interval 调整为 "10ms" ，这个能加快巡检 Region 的速度，但是会消耗更多的 PD 的调度策略还在不断的演进和完善中，也期待大家踊跃提出宝贵的改进意见。 原文阅读：https://pingcap.com/blog-cn/best-practice-pd/
1.5K20发布于 2019-10-12 - 来自专栏python3
Python处理CSV,Excel,PD
, encoding="utf-8") as f: text = csv.reader(f) for i in text: print(i) print("####"*10 range(0, 9): file = str(i) + ".txt" with codecs.open(file, 'w') as f: f.write(str(i)*10 xlutils.copy.copy(rb) #获取sheet对象，通过sheet_by_index()获取的sheet对象没有write()方法 ws = wb.get_sheet(0) #写入数据 ws.write(10 , 10, 'changed!') 20 # 用来随机生成一个字符串 def gene_text(): source = list(string.ascii_letters) for index in range(0, 10
2K20发布于 2020-01-07 - 来自专栏数据结构与算法
pd_ds中的hash
前言 在c++的STL中，提供了一种hash函数，其用法和map是几乎一样的，但是速度却能快接近一倍 使用方法 需要的头文件 #include<ext/pb_ds/assoc_container.hpp> #include<ext/pb_ds/hash_policy.hpp> using namespace __gnu_pbds; 函数声明方式 cc_hash_table<int,bool>h; gp_hash_table<int,bool>h; cc_hash_table是拉链法 gp_hash_tabl
1.2K90发布于 2018-04-10 - 来自专栏Mac软件的分享
pd工具箱：Parallels Toolbox for mac
Parallels Toolbox提供了35种组必备工具，总有一款会在您使用Mac时为您提供帮助。借助Parallels Toolbox，我们可以快速使用已隐藏、需要使用难记住的键盘快捷键或不可用的许多常用功能。
1.2K40编辑于 2022-11-24 - 来自专栏Mac消息
Parallels Toolbox for mac(pd工具箱)
专为富有创造力的个人、学生、小企业主、长期多任务处理者、IT 经理以及介于两者之间的任何人而设计。Parallels Toolbox 讓每個人都可以充分利用他們的 Mac，而不必學習複雜的系統設定。
8.7K30编辑于 2023-04-10 - 来自专栏全栈程序员必看
数据库设计工具—–PD
数据库设计工具—–PD PowerDesign是一款功能强大的建模软件，提供强大的元数据管理功能，可以帮助用户构建关键信息的全方位视图，创建多种类型的模型，包括数据模型，物理模型，面向对象模型 等等。
2.1K10编辑于 2022-09-14 - 来自专栏小狼的世界
让Mac风扇面对PD不再疯狂
对于所有喜欢Mac操作系统的用户来说，如果办公环境必须使用Windows及Windows程序，那一定会非常崩溃，因为你很可能使用了Parallels Desktop来运行你的Windows虚拟机，那么你将会体验风扇狂转、机器发烫的感觉。此时，如果在终端中查看一下进程，会看到 prl_vm_app消耗的CPU往往会在100%以上，也可以使用 Activity Monitor 查看一下。
1.9K20发布于 2018-07-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号