- 综合排序
- 最热优先
- 最新优先
- 来自专栏Se7en的架构笔记
PD 分离推理架构详解
PD 分离推理架构的讲解视频可以在这里观看：https://www.bilibili.com/video/BV1ZTWAzmEEc 本文是 LLM 推理系列的第 6 篇，介绍 PD 分离推理架构 在大语言模型推理过程中 3 PD 分离的整体思路 直观的思路很简单：将 prefill 和 decode 分离到不同的 GPU 上，并为每个阶段定制并行策略。 connector 的运行实例代码可以在这里找到：https://docs.vllm.ai/en/latest/features/disagg_prefill.html#usage-example 7 PD 分离：llm-d 利用 vLLM 的分离式推理能力，将 prefill 和 decode 拆分到独立实例运行，并通过高性能传输库（如 NIXL）进行通信。 当应用程序无法在 TTFT 和 TPOT 之间进行权衡，而是要同时遵守这两者时，PD 分离就成为更好的选择。
2.9K20编辑于 2025-11-12 MindIE PD分离部署Q&A
PD分离是一种近年来兴起的推理加速部署方案，kimi、deepseek都进行了工程落地。 昇腾MindIE组件也支持了PD分离部署能力，参考链接为 https://www.hiascend.com/document/detail/zh/mindie/20RC1/mindieservice/servicedev llama3-8B卡数输入输出concurrency发送频率prefill_bsdecode_bsPD混部1257-60710100PD分离2+3257-60100093218
52610编辑于 2025-05-27- 来自专栏Se7en的架构笔记
使用 NVIDIA Dynamo 部署 PD 分离推理服务
在这篇文章中，我们将介绍如何安装和运行 Dynamo，包括快速开始、PD 分离部署，以及在 Kubernetes 环境中的实践。 快速开始示例只需 1 个 GPU，而 PD 分离部署示例则需要 2 个 GPU。 在 Dynamo 的 PD 分离架构中，有 4 个核心组件： (decode) worker：执行 prefill 和 decode 请求。 接下来将演示如何通过 Dynamo 实现 PD 分离部署。首先打开一个新的终端并启动 decode worker 进程，将日志级别设置为 debug，以便我们进行观察。 接下来将展示如何在 Kubernetes 上部署 Dynamo，并且运行快速开始和 PD 分离示例。
1.1K10编辑于 2025-11-12 - 来自专栏腾讯云原生团队
在 TKE 上使用 NVIDIA Dynamo 部署 PD 分离的大模型
本文主要基于 dynamo 的分解预填充和解码推理阶段特性讲述如何在 TKE 上使用 dynamo 部署 PD 分离的大模型，分为以下六部分： 第一部分，介绍 Dynamo 的 PD 分离架构。 第二部分，给出一个在 TKE 上部署 PD 分离的示例。 第三部分，介绍 Dynamo 的监控组件。 第四部分，Dynamo PD 分离部署的性能验证，与 vLLM 进行对比。 一、Dynamo 的 PD 分离是如何实现的？ TTST 完全优于 baseline，主要原因可能是 PD 分离消除了两个阶段间的资源竞争。 PD 分离的提升幅度有多大？ 参照官方维护者的说法[7]，在特定的吞吐量范围内，分解可以带来显著的优势。
3.5K10编辑于 2025-04-21 - 来自专栏AI前沿技术
大模型推理-基于prefill和decode阶段特性，PD分离，势在必行！
将两个阶段分别部署到不同的设备上，使用PD分离架构推理，各自优化，势在必行！ 3.3 PD 分离方案技术 DistServe 尝试优化了资源分配与并行策略达到更好的 GPU goodput，其整体的方案如图。 PD分离架构的优势是，两个阶段部署在不同服务器，可以各自优化，进而使得总的吞吐和计算设备利用率最大化。 PD分离架构一个核心点是，KV cache 的计算和传递，其影响着整个架构的调度设计。 Mooncake 进一步发展了PD分离架构，提出了一种以键值缓存（KVCache）为中心的分离式 LLM 服务架构。 最后介绍PD分离方案的技术路线。
1.3K10编辑于 2026-01-13 - 来自专栏python前行者
pd.isnull,pd.notnull
pandas中用函数isnull 和notnull 来检测数据丢失 python pandas判断缺失值一般采用 isnull()，生成的是所有数据的true／false矩阵 1 pd.isnull 2 pd.isnull().any() 列级别的判断，只要该列有为空或者NA的元素，就为True，否则False 则会判断哪些”列”存在缺失值 ? 3 pd[pd.isnull().values==True] 可以只显示存在缺失值的行列，清楚的确定缺失值的位置。 ?
1.9K30发布于 2019-03-25 - 来自专栏小明的博客
Pd实战
主要写一些平时看到的比较常用的一些pd的函数的应用，通过应用场景来辅助更好地理解pandas。 我们可能会拿到形如以下形式的数据: 这样的数据集存在几个列的内容完全一致，因此我们希望实现的一个功能就是将这几个列的值合成一个列，得到形如下图的数据形式: import pandas as pd df = pd.DataFrame({ '爱好1': {'小明': '睡觉', '小红': '弹琴'}, '地点1': {'小明': '床上', '小红': '家'}, '爱好2': { \d)$') df = df.explode('爱好-地点') df[['爱好', '地点']] = df['爱好-地点'].apply(pd.Series) df # 方法3 使用已有函数 df = pd.DataFrame({ '爱好1': {'小明': '睡觉', '小红': '弹琴'}, '地点1': {'小明': '床上', '小红': '家'}, '爱好2': {
41030编辑于 2022-09-06 - 来自专栏全栈程序员必看
Centos7配置MySQL读写分离
即将使用mysql-proxy进行读写分离，配置192为proxy,写82读83。 /lua #复制读写分离配置文件 cp share/doc/mysql-proxy/admin-sql.lua . /lua #复制管理脚本 创建配置文件 1 vi /etc/mysql-proxy.cnf #创建配置文件 1 2 3 4 5 6 7 8 9 10 11 12 13 [mysql-proxy 1 vi /usr/local/mysql-proxy/lua/rw-splitting.lua 1 2 3 4 5 6 7 if not proxy.global.config.rwsplit then 修改从服务器/etc/my.cnf 1 2 3 4 5 6 7 [mysqld] default-storage-engine=MyISAM 创建新表时将使用的默认存储引擎 key_buffer_size
58420编辑于 2022-09-02 - 来自专栏全栈程序员必看
pd.notnull
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/132524.html原文链接：https://javaforall.cn
35110编辑于 2022-06-29 - 来自专栏全栈程序员必看
USB PD快充协议_pd快充协议文件
2.6 iPhone USB PD 使用的芯片是CYPD2104和BQ25890的组合，iPhone X整体PD快充的电源管理策略如下： 1）关机状态下不进行PD沟通，APPLE 2.4A协议生效。 3.2 驱动代码 高通Type-C、APSD（BC1.2）和QC的驱动代码在drivers/power下；而USB PD的代码在drivers/usb/pd下面，所以你如果把drivers/usb/pd 下的，所以如果你既要禁止USB PD，又要让USB可以枚举，那么需要把drivers/usb/pd下的extcon代码移植到drivers/power下面。 Figure 3-2 Ballot Box Rules Figure 3-3 USB PD Ballot Box 4 USB PD芯片介绍 4.1 STM32软件实施USB PD协议 USB USB PD：USB 电源交付 USB PDT：USB PD Test Instrument 版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。
3.4K20编辑于 2022-11-16 基于 openFuyao 的 AI 推理加速实战：智能路由与 PD 分离式 KVCache 架构揭秘
为此，openFuyao 社区推出了面向 AI 推理场景的算力释放创新组件，其中“智能路由”与“PD 分离式分布式 KVCache”架构成为关键突破。 PD分离模式AI推理集成部署图hermes-router：智能路由模块。负责接收用户请求并根据路由策略转发到最优的推理后端服务。 四、性能对比：延迟下降，算力利用率提升在实际测试中，使用智能路由 + PD 分离式 KVCache 后，openFuyao 推理集群的性能提升显著。 性能提升主要来源于：智能路由降低请求调度延迟；PD 分离式 KVCache 提升缓存复用率；集群负载自动均衡，减少节点空转。 延迟对比图由上图可见，经过 PD 分离与智能路由的优化后，openFuyao 在多规模 Qwen 模型上的推理延迟显著下降。
45410编辑于 2025-12-11- 来自专栏数据派THU
独家 | 是时候和pd.read_csv(), pd.to_csv()说再见了
原文标题：It’s Time to Say GoodBye to pd.read_csv() and pd.to_csv() 原文链接：https://towardsdatascience.com/its-time-to-say-goodbye-to-pd-read-csv-and-pd-to-csv
2K30编辑于 2022-12-16 - 来自专栏全栈程序员必看
type-c是pd_type c pd 什么意思
Type-C Port的Data Role、Power Role 三、Type-C的Data/Power Role识别协商/Alt Mode 四、如何进行数据链路的切换 五、相关参数/名词/状态解释 六、PD 后面随着PD规范的面世，CC脚开始被用来做简单的半双工通信，用来完成POWER供给的协商 1.4 强悍的一统天下的态势 由于Type-C的扩展功能（SBU1/SBU2），大部分配件诸如耳机、 设备刚连接时作为哪一种角色，由端口的Power Role（参考后面的介绍）决定；后续也可以通过switch过程更改（如果支持USB PD协议的话）。 情况1：不使用PD SWAP，随机变成Source/SINK中的任意一个，CC脚波形为方波 情况2：自身倾向于作为Source，执行Try.SRC，问对面能不能做SINK呀，我做Source 情况3： 通过CC引脚，利用PD协议沟通，协商，PD Controler 发起请求，并得到回应 版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。
1.2K20编辑于 2022-11-10 - 来自专栏大数据文摘
是时候和pd.read_csv(), pd.to_csv()说再见了
原文标题： It’s Time to Say GoodBye to pd.read_csv() and pd.to_csv() 原文链接： https://towardsdatascience.com /its-time-to-say-goodbye-to-pd-read-csv-and-pd-to-csv-27fbc74e84c5 点「在看」的人都变好看了哦！
1.5K20编辑于 2023-04-10 - 来自专栏PingCAP的专栏
PD 调度策略最佳实践
作者：黄梦龙 众所周知，PD 是整个 TiDB 集群的核心，负责全局元信息的存储以及 TiKV 集群负载均衡调度，本文将详细介绍 PD 调度系统的原理，并通过几个典型场景的分析和处理方式，分享调度策略的最佳实践和调优方法 Scheduler Scheduler（调度器）是 PD 中生成调度的组件。PD 中每个调度器是独立运行的，分别服务于不同的调度目的。 本文简要介绍 Metrics 和 pd-ctl 两种方式，更具体的信息可以参考官方文档中 PD 监控 以及 PD Control 使用 的章节。 工具来完成，可以通过以下 3 个方面来控制 PD 的调度行为。 PD 的调度策略还在不断的演进和完善中，也期待大家踊跃提出宝贵的改进意见。 原文阅读：https://pingcap.com/blog-cn/best-practice-pd/
1.5K20发布于 2019-10-12 - 来自专栏python3
Python处理CSV,Excel,PD
如一下格式：27,20,14,15,14,12,94,64,37,1015,1013,1009,7,5,2,21,8,35,0.00,,,152 .csv文件可以直接用excel或者类似软件打开，样子都是我们常见的表格形式
2K20发布于 2020-01-07 - 来自专栏DotNet NB && CloudNative
.NET 7+Vue 前后端分离框架Admin.Core
前言 中台admin是前后端分离权限管理系统，Admin.Core为后端项目，基于.NET 7.0开发。 OSS 文件上传、滑块拼图验证、多数据库，分布式缓存、分布式事务等 接口文档一览 项目地址 Github https://github.com/zhontai/Admin.Core 技术栈 dotnet7 FreeSql Autofac CAP Mapster 特点 快速启动，上手简单 系统模块化 Swagger的模块化封装 读写分离 分库分表 分布式事务 TCC/ SAGA 动态API 系统权限封装基本满足大部分项目 多租户实现 开发环境 Vs2022 dotnet7 项目结构 hosts ZhonTai.Host:默认启动项目,添加对 ZhonTai.Admin.Dev，模块的引用，并将程序集配置到 assemblyNames 7、字典管理：配置字典，查看字典类型和字典数据列表，支持字典类型和字典数据维护。 8、任务调度：查看任务和任务日志列表，支持任务启动、执行、暂停等功能。
1.1K10编辑于 2023-09-08 - 来自专栏数据结构与算法
pd_ds中的hash
前言 在c++的STL中，提供了一种hash函数，其用法和map是几乎一样的，但是速度却能快接近一倍 使用方法 需要的头文件 #include<ext/pb_ds/assoc_container.hpp> #include<ext/pb_ds/hash_policy.hpp> using namespace __gnu_pbds; 函数声明方式 cc_hash_table<int,bool>h; gp_hash_table<int,bool>h; cc_hash_table是拉链法 gp_hash_tabl
1.2K90发布于 2018-04-10 - 来自专栏全栈技术
项目之前后端分离及导航栏标签列表(7)
前后端分离 前端：客户端，例如网页及相关组件都是属于前端开发领域； 后端：服务器端； 在传统的开发模式下，当服务器端处理了某种请求后，就会执行转发或重定向操作，使得客户端的浏览器访问另一个页面，整个开发过程 ，或需要开发的组件都是由服务器端开发人员完成的（即使使用到了前端的网页技术，甚至有专门的人员开发网页，最终也需要整合到服务器端的项目中，从项目的角度来看，并没有分离）。 使用前后端分离的做法，可以使得开发人员是分离的，即前端开发人员开发前端的产品，后端开发人员开发服务器端需要实现的功能，分工明确，同时，由于后端不再处理页面显示，不需要使用到网页，在处理请求后，响应时，响应的数据内容将更加少 简单来说：前后端分离的典型特征就是“服务器端处理完请求后，不再关心数据的呈现的问题，只是单纯的将数据响应到客户端，由客户端自行处理数据的显示”。 在前后端分离的做法中，后端负责提供“接口”，此“接口”表示一种对接的方式，通常表现为服务器端项目中的控制器组件，它负责与前端进行“对接”，前端只需要根据后端的约定（请求路径、请求参数、请求类型等）来提交请求
1.8K10发布于 2021-08-23 - 来自专栏Mac软件的分享
pd工具箱：Parallels Toolbox for mac
Parallels Toolbox提供了35种组必备工具，总有一款会在您使用Mac时为您提供帮助。借助Parallels Toolbox，我们可以快速使用已隐藏、需要使用难记住的键盘快捷键或不可用的许多常用功能。
1.2K40编辑于 2022-11-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号