首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >LangGraph >LangGraph 如何实现流式输出和实时响应?

LangGraph 如何实现流式输出和实时响应?

词条归属:LangGraph

1. 三种流式模式

LangGraph 提供三种不同粒度的流式输出:stream(mode="values") 在每个节点完成后返回完整的状态快照,适合调试和后端编排;stream(mode="updates") 只返回变化的键值对,开销最小,适合进度指示器;astream_events() 暴露最细粒度的事件流,包括每个 LLM token、工具调用生命周期和自定义事件,是前端实时渲染的首选。

2. Token 级流式传输

通过 astream_events() 配合 version="v2" 参数,可以捕获 on_chat_model_stream 事件,逐个获取 LLM 生成的 token。结合 FastAPI 的 StreamingResponse 和 Server-Sent Events(SSE),可以将 token 实时推送到前端浏览器,实现类似 ChatGPT 的打字机效果。关键是要在 LLM 初始化时设置 streaming=True,并在反向代理层禁用缓冲(如 Nginx 的 X-Accel-Buffering: no)。

3. 多通道事件订阅

astream_events() 不仅支持消息流,还可以订阅节点开始/结束、工具调用、自定义事件等多种事件类型。开发者可以通过 StreamWriter 向自定义通道推送领域特定的事件(如引用来源、进度指标、UI 描述),前端根据不同通道渲染不同的 UI 元素——主聊天面板显示回答文本,侧边栏显示子 Agent 活动,顶部进度条显示执行进度。

4. 生产环境的流式部署

LangGraph Cloud 原生支持流式端点,客户端 SDK 提供方法来消费这些流。对于自托管场景,可以通过 WebSocket 或 SSE 封装 LangGraph 的异步接口,实现生产级的实时响应。流式和检查点机制是正交的——无论是否流式输出,状态都会在每个节点完成后被持久化。

相关文章
Serverless 架构下如何实现日志的实时输出?
Serverless 白皮书中曾描述过 Serverless 的一些缺点,例如难以调试、冷启动严重等等。其中难以调试是表现在多个方面的,有一个方面是日志输出。
深度学习与Python
2020-08-07
1.2K0
通俗易懂:AI大模型基于SSE的实时流式响应技术原理和实践示例
文章介绍了SSE(Server-Sent Events)技术在大模型流式响应中的应用,包括其发展历程、ChatGPT流式输出原理、SSE技术特点及与WebSocket的对比,并提供了两种流式响应落地方案。
JackJiang
2025-08-14
3K0
Python 快速入门教程:构建一个 A2A Agent
在本教程中,您将使用 Python SDK 探索一个简单的“回声” A2A 服务器。这将向您介绍 A2A 服务器的基本概念和组件。然后,您将看到一个集成了大型语言模型 (LLM) 的更高级示例。
井九
2025-07-11
2K0
``` FastMind:比 LangGraph 更轻量的 Python Agent 框架
在 AI Agent 开发领域,LangGraph 是一个知名的框架,但如果你正在寻找一个更轻量、更简洁、更适合快速开发的替代方案,那么 FastMind 值得你关注。
用户10168455
2026-03-29
3831
如何实现本地代码和远程的实时同步
我们知道在国内使用 Docker,无论是 Pull、Build 还是 Push 镜像都十分慢,因为毕竟很多源都是国外的源,下载和上传慢是必然的现象。
崔庆才
2020-03-31
5.7K1
点击加载更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券