- 综合排序
- 最热优先
- 最新优先
- 来自专栏Se7en的架构笔记
PD 分离推理架构详解
PD 分离推理架构的讲解视频可以在这里观看：https://www.bilibili.com/video/BV1ZTWAzmEEc 本文是 LLM 推理系列的第 6 篇，介绍 PD 分离推理架构 在大语言模型推理过程中 3 PD 分离的整体思路 直观的思路很简单：将 prefill 和 decode 分离到不同的 GPU 上，并为每个阶段定制并行策略。 6 vLLM 的 PD 分离 vLLM 提供了 KV Connector 作为管理实例间 KV cache 交换的抽象层，它提供统一接口来实现 KV cache 的保存、加载与传输，使不同的 vLLM PD 分离：llm-d 利用 vLLM 的分离式推理能力，将 prefill 和 decode 拆分到独立实例运行，并通过高性能传输库（如 NIXL）进行通信。 _6leH5MVP9k72sjw/edit?
2.9K20编辑于 2025-11-12 MindIE PD分离部署Q&A
PD分离是一种近年来兴起的推理加速部署方案，kimi、deepseek都进行了工程落地。 昇腾MindIE组件也支持了PD分离部署能力，参考链接为 https://www.hiascend.com/document/detail/zh/mindie/20RC1/mindieservice/servicedev llama3-8B卡数输入输出concurrency发送频率prefill_bsdecode_bsPD混部1257-60710100PD分离2+3257-60100093218
52610编辑于 2025-05-27- 来自专栏Se7en的架构笔记
使用 NVIDIA Dynamo 部署 PD 分离推理服务
在这篇文章中，我们将介绍如何安装和运行 Dynamo，包括快速开始、PD 分离部署，以及在 Kubernetes 环境中的实践。 快速开始示例只需 1 个 GPU，而 PD 分离部署示例则需要 2 个 GPU。 在 Dynamo 的 PD 分离架构中，有 4 个核心组件： (decode) worker：执行 prefill 和 decode 请求。 接下来将演示如何通过 Dynamo 实现 PD 分离部署。首先打开一个新的终端并启动 decode worker 进程，将日志级别设置为 debug，以便我们进行观察。 接下来将展示如何在 Kubernetes 上部署 Dynamo，并且运行快速开始和 PD 分离示例。
1.1K10编辑于 2025-11-12 - 来自专栏腾讯云原生团队
在 TKE 上使用 NVIDIA Dynamo 部署 PD 分离的大模型
本文主要基于 dynamo 的分解预填充和解码推理阶段特性讲述如何在 TKE 上使用 dynamo 部署 PD 分离的大模型，分为以下六部分： 第一部分，介绍 Dynamo 的 PD 分离架构。 第二部分，给出一个在 TKE 上部署 PD 分离的示例。 第三部分，介绍 Dynamo 的监控组件。 第四部分，Dynamo PD 分离部署的性能验证，与 vLLM 进行对比。 一、Dynamo 的 PD 分离是如何实现的？ TTST 完全优于 baseline，主要原因可能是 PD 分离消除了两个阶段间的资源竞争。 （目前由于 nixl 的限制[6]，tp 数最大设置为 8） 以下假设 P 和 D 使用的是相同型号的 GPU，确定 PD 比例的过程如下： 1.
3.5K10编辑于 2025-04-21 - 来自专栏AI前沿技术
大模型推理-基于prefill和decode阶段特性，PD分离，势在必行！
将两个阶段分别部署到不同的设备上，使用PD分离架构推理，各自优化，势在必行！ 3.3 PD 分离方案技术 DistServe 尝试优化了资源分配与并行策略达到更好的 GPU goodput，其整体的方案如图。 PD分离架构的优势是，两个阶段部署在不同服务器，可以各自优化，进而使得总的吞吐和计算设备利用率最大化。 PD分离架构一个核心点是，KV cache 的计算和传递，其影响着整个架构的调度设计。 Mooncake 进一步发展了PD分离架构，提出了一种以键值缓存（KVCache）为中心的分离式 LLM 服务架构。 最后介绍PD分离方案的技术路线。
1.3K10编辑于 2026-01-13 - 来自专栏python前行者
pd.isnull,pd.notnull
pandas中用函数isnull 和notnull 来检测数据丢失 python pandas判断缺失值一般采用 isnull()，生成的是所有数据的true／false矩阵 1 pd.isnull 2 pd.isnull().any() 列级别的判断，只要该列有为空或者NA的元素，就为True，否则False 则会判断哪些”列”存在缺失值 ? 3 pd[pd.isnull().values==True] 可以只显示存在缺失值的行列，清楚的确定缺失值的位置。 ?
1.9K30发布于 2019-03-25 - 来自专栏小明的博客
Pd实战
主要写一些平时看到的比较常用的一些pd的函数的应用，通过应用场景来辅助更好地理解pandas。 我们可能会拿到形如以下形式的数据: 这样的数据集存在几个列的内容完全一致，因此我们希望实现的一个功能就是将这几个列的值合成一个列，得到形如下图的数据形式: import pandas as pd df = pd.DataFrame({ '爱好1': {'小明': '睡觉', '小红': '弹琴'}, '地点1': {'小明': '床上', '小红': '家'}, '爱好2': { \d)$') df = df.explode('爱好-地点') df[['爱好', '地点']] = df['爱好-地点'].apply(pd.Series) df # 方法3 使用已有函数 df = pd.DataFrame({ '爱好1': {'小明': '睡觉', '小红': '弹琴'}, '地点1': {'小明': '床上', '小红': '家'}, '爱好2': {
41030编辑于 2022-09-06 - 来自专栏∑小熊猫的博客
Nginx系列(6) —— 动静分离的配置
Nginx 配置 —— 动静分离 动静分离 在我们刚开始接触网站开发时，我们往往都是将代码和一些静态的网页资源存放在一起，由于我们平时的并不会对这些网页进行相关的升级迭代，且相应的静态资源也是十分有限的 这种将动态资源和静态资源分开用不同服务器进行处理的行为就可以叫做动静分离。 动静分离的相关配置 假设在 linux 系统中的 data文件夹中创建两个目录，img 和 www，此时用 img 保存静态+图片，用 www 来保存静态页面。
1K10发布于 2020-11-25 - 来自专栏全栈程序员必看
pd.notnull
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/132524.html原文链接：https://javaforall.cn
35110编辑于 2022-06-29 - 来自专栏全栈程序员必看
USB PD快充协议_pd快充协议文件
Programmale Power Supply: PPS (APDO) APDO: Reference to ‘Table 6-22 Programmable Request Data Object 譬如请求6V @ 2A，那么Request消息的B19…9的值为300，而B6…0的值为40。 2.6 iPhone USB PD 使用的芯片是CYPD2104和BQ25890的组合，iPhone X整体PD快充的电源管理策略如下： 1）关机状态下不进行PD沟通，APPLE 2.4A协议生效。 请注意此时依然是PD充电，只是选了5V档位减低手机端压降损耗； 6）充电至88%左右，开始进入CV段直到充满。 解码时，如果连续2次计数间隔之差都小于6，那么这2次计数间隔对应的4b5b bit是1，如果1次计数间隔之差大于6，说明这次4b5b bit是0。
3.4K20编辑于 2022-11-16 基于 openFuyao 的 AI 推理加速实战：智能路由与 PD 分离式 KVCache 架构揭秘
为此，openFuyao 社区推出了面向 AI 推理场景的算力释放创新组件，其中“智能路由”与“PD 分离式分布式 KVCache”架构成为关键突破。 PD分离模式AI推理集成部署图hermes-router：智能路由模块。负责接收用户请求并根据路由策略转发到最优的推理后端服务。 四、性能对比：延迟下降，算力利用率提升在实际测试中，使用智能路由 + PD 分离式 KVCache 后，openFuyao 推理集群的性能提升显著。 性能提升主要来源于：智能路由降低请求调度延迟；PD 分离式 KVCache 提升缓存复用率；集群负载自动均衡，减少节点空转。 延迟对比图由上图可见，经过 PD 分离与智能路由的优化后，openFuyao 在多规模 Qwen 模型上的推理延迟显著下降。
45410编辑于 2025-12-11- 来自专栏数据派THU
独家 | 是时候和pd.read_csv(), pd.to_csv()说再见了
原文标题：It’s Time to Say GoodBye to pd.read_csv() and pd.to_csv() 原文链接：https://towardsdatascience.com/its-time-to-say-goodbye-to-pd-read-csv-and-pd-to-csv
2K30编辑于 2022-12-16 - 来自专栏全栈程序员必看
type-c是pd_type c pd 什么意思
Type-C Port的Data Role、Power Role 三、Type-C的Data/Power Role识别协商/Alt Mode 四、如何进行数据链路的切换 五、相关参数/名词/状态解释 六、PD 后面随着PD规范的面世，CC脚开始被用来做简单的半双工通信，用来完成POWER供给的协商 1.4 强悍的一统天下的态势 由于Type-C的扩展功能（SBU1/SBU2），大部分配件诸如耳机、 设备刚连接时作为哪一种角色，由端口的Power Role（参考后面的介绍）决定；后续也可以通过switch过程更改（如果支持USB PD协议的话）。 情况1：不使用PD SWAP，随机变成Source/SINK中的任意一个，CC脚波形为方波 情况2：自身倾向于作为Source，执行Try.SRC，问对面能不能做SINK呀，我做Source 情况3： 通过CC引脚，利用PD协议沟通，协商，PD Controler 发起请求，并得到回应 版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。
1.2K20编辑于 2022-11-10 - 来自专栏大数据文摘
是时候和pd.read_csv(), pd.to_csv()说再见了
原文标题： It’s Time to Say GoodBye to pd.read_csv() and pd.to_csv() 原文链接： https://towardsdatascience.com /its-time-to-say-goodbye-to-pd-read-csv-and-pd-to-csv-27fbc74e84c5 点「在看」的人都变好看了哦！
1.5K20编辑于 2023-04-10 - 来自专栏开源君
推荐6个好评最高的前后端分离项目
前后端分离项目介绍 前后端分离的开发模式，前后端程序猿只需要提前约定好接口文档（参数、数据类型），然后并行开发即可，最后完成前后端集成，遇到问题同步修改即可，真正实现了前后端应用的解耦合，可以极大地提升开发效率 [image-20210516104605630] 1.微人事 1.1 项目介绍 微人事是一个前后端分离的人力资源管理系统，项目采用 SpringBoot+Vue 开发，项目加入常见的企业级应用所涉及 Vue 开发经验或者前后端分离开发的朋友，技术栈基于Spring Boot + Vue，带有超级详细开发文档和讲解视频。 image-20210516110803380.png) [image-20210516110723304] 5.3 项目地址 https://gitee.com/ShaoxiongDu/eladmin 6. 美人鱼 6.1项目介绍 NiceFish（美人鱼） 是一个系列项目，目标是示范前后端分离的开发模式:前端浏览器、移动端、Electron 环境中的各种开发模式；后端有两个版本：SpringBoot 版本和
7.4K00发布于 2021-05-24 - 来自专栏JVMGC
推荐6个好评最高的前后端分离项目
前后端分离的开发模式，前后端程序猿只需要提前约定好接口文档（参数、数据类型），然后并行开发即可，最后完成前后端集成，遇到问题同步修改即可，真正实现了前后端应用的... 前后端分离项目介绍 前后端分离的开发模式，前后端程序猿只需要提前约定好接口文档（参数、数据类型），然后并行开发即可，最后完成前后端集成，遇到问题同步修改即可，真正实现了前后端应用的解耦合，可以极大地提升开发效率 个人博客 2.1 项目介绍 这个前后端分离的博客项目项目适合没有 Vue 开发经验或者前后端分离开发的朋友，技术栈基于 Spring Boot + Vue，带有超级详细开发文档和讲解视频。 微信点餐系统 4.1 项目介绍 一个基于SpringBoot的微信点餐系统，采用前后端分离架构，SpringBoot+Vue。 5.2 项目截图 5.3 项目地址 https://gitee.com/ShaoxiongDu/eladmin 6.
75320编辑于 2023-03-10 - 来自专栏开源君
推荐6个好评最高的前后端分离项目
前后端分离项目介绍 前后端分离的开发模式，前后端程序猿只需要提前约定好接口文档（参数、数据类型），然后并行开发即可，最后完成前后端集成，遇到问题同步修改即可，真正实现了前后端应用的解耦合，可以极大地提升开发效率 1.微人事 1.1 项目介绍 微人事是一个前后端分离的人力资源管理系统，项目采用 SpringBoot+Vue 开发，项目加入常见的企业级应用所涉及 到的技术点，例如 Redis、RabbitMQ 等 ### 1.3 项目地址 https://github.com/shaoxiongdu/vhr 2.个人博客 2.1 项目介绍 这个前后端分离的博客项目项目适合没有 Vue 开发经验或者前后端分离开发的朋友 后台管理系统 5.1项目介绍 一个基于 Spring Boot 2.1.0 、 Spring Boot Jpa、 JWT、Spring Security、Redis、Vue的前后端分离的后台管理系统 5.3 项目地址 https://gitee.com/ShaoxiongDu/eladmin 6.美人鱼 6.1项目介绍 NiceFish（美人鱼） 是一个系列项目，目标是示范前后端分离的开发模式
2.3K10发布于 2021-06-18 - 来自专栏PingCAP的专栏
PD 调度策略最佳实践
作者：黄梦龙 众所周知，PD 是整个 TiDB 集群的核心，负责全局元信息的存储以及 TiKV 集群负载均衡调度，本文将详细介绍 PD 调度系统的原理，并通过几个典型场景的分析和处理方式，分享调度策略的最佳实践和调优方法 Scheduler Scheduler（调度器）是 PD 中生成调度的组件。PD 中每个调度器是独立运行的，分别服务于不同的调度目的。 本文简要介绍 Metrics 和 pd-ctl 两种方式，更具体的信息可以参考官方文档中 PD 监控 以及 PD Control 使用 的章节。 6. PD 的调度策略还在不断的演进和完善中，也期待大家踊跃提出宝贵的改进意见。 原文阅读：https://pingcap.com/blog-cn/best-practice-pd/
1.5K20发布于 2019-10-12 - 来自专栏python3
Python处理CSV,Excel,PD
逗号分隔值（Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。纯文本意味着该文件是一个字符序列，不含必须像二进制数字那样被解读的数据。CSV文件由任意数目的记录组成，记录间以某种换行符分隔；每条记录由字段组成，字段间的分隔符是其它字符或字符串，最常见的是逗号或制表符。通常，所有记录都有完全相同的字段序列。
2K20发布于 2020-01-07 - 来自专栏前端人人
React项目配置6(前后端分离如何控制用户权限)
本教程总共6篇,每日更新一篇,请关注我们!你可以进入历史消息查看以往文章,也敬请期待我们的新文章! --2018.01.15 4、React项目配置4(如何在开发时跨域获取api请求)---2018.01.16 5、React项目配置5(引入MockJs,实现假接口开发)---2018.01.17 6、 React项目配置6(前后端分离如何控制用户权限)---2018.01.18 7、React项目配置6(ES7的Async/Await的使用)---2018.01.19(新增) 开发环境:Windows 而现在的前端开发，在前后端分离情况下，如何控制权限？ 也是通过后台来控制！ 说白了，前端就是负责渲染用户界面！ 我说下我们的做法,可能不是最好的！
1.7K30发布于 2018-04-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号