- 综合排序
- 最热优先
- 最新优先
- 来自专栏程序员分享
langgraph流式输出特性测试
langgraph在astream调用模式下, 当图中包含子图节点时, 输出捕获级别会因设置产生不一样的影响本次记录个人基于 langgraph v1.1.2 的测试结果 准备工作 导入包如下:python 'data': {'node4': {'log_info': {'node4': 'node4 执行日志'}}}}观察type为messages的部分, 这是langgraph所捕获LLM Token输出 , 可以看到正常捕获到了单节点内部的流式输出有一个messages事件, 包含完整消息, 在节点return前后被捕获(似乎仅适用于LLM Client流式调用的情况, 使用CompiledGraph则不会包含 'ns': (), 'data': {'node4': {'log_info': {'node4': 'node4 执行日志'}}}}子图调用astream产生了四个"chunk", 但是它们并非模型流式输出的结果 , 'langgraph_checkpoint_ns': 'node2:f236c5a1-e972-bf00-0f4e-9300ead1eb69'})}可以观察到即使内部使用ainvoke, 父图期望流式获取大模型输出时
11610编辑于 2026-04-05 - 来自专栏码匠的流水账
langchain4j+springboot流式输出
序本文主要研究一下langchain4j+springboot如何实现流式输出步骤pom.xml <dependency> <groupId>dev.langchain4j }); }); }StreamingChatLanguageModel提供了StreamingChatResponseHandler用于处理片段结果，结合Flux可以实现流式输出源码
2.3K10编辑于 2025-02-24 - 来自专栏鱼皮客栈
聊聊SpringAI流式输出的底层实现？
技术实现 在 Spring AI 中流式输出的实现有以下两种方式： 通过 ChatModel 实现流式输出。 通过 ChatClient 实现流式输出。 ChatModel 流式输出 Spring AI 中的流式输出实现非常简单，使用 ChatModel 中的 stream 即可实现： @RequestMapping(value = "/streamChat 根据以往的经验我们知道，流式输出的实现技术基本有两种： Spring MVC（Servlet）+ SSE 实现流式输出。 Spring WebFlux Reactor 模型实现流式输出。 Spring AI 流式输出 说完了前置知识，咱们回到主题：Spring AI 是如何实现流式输出的？ 生产级别使用的 Reactor 基本都是主从 Reactor 模型，它的执行流程如下： 小结 Spring AI 中的流式输出有两种实现，而通过查看这两种流式输出的实现源码可知，Spring AI 中的流式输出是通过
1.4K00编辑于 2025-04-29 - 来自专栏王磊的博客
聊聊SpringAI流式输出的底层实现？
技术实现 在 Spring AI 中流式输出的实现有以下两种方式： 通过 ChatModel 实现流式输出。 通过 ChatClient 实现流式输出。 ChatModel 流式输出 Spring AI 中的流式输出实现非常简单，使用 ChatModel 中的 stream 即可实现： @RequestMapping(value = "/streamChat 根据以往的经验我们知道，流式输出的实现技术基本有两种： Spring MVC（Servlet）+ SSE 实现流式输出。 Spring WebFlux Reactor 模型实现流式输出。 Spring AI 流式输出 说完了前置知识，咱们回到主题：Spring AI 是如何实现流式输出的？ 生产级别使用的 Reactor 基本都是主从 Reactor 模型，它的执行流程如下： 小结 Spring AI 中的流式输出有两种实现，而通过查看这两种流式输出的实现源码可知，Spring AI 中的流式输出是通过
1.2K10编辑于 2025-04-24 - 来自专栏实用技术
使用 Python 的 requests 库实现流式输出
使用 Python 的 requests 库实现流式输出import requestsurl = 'https://api.example.com/stream' # 替换为实际的API URLwith
43410编辑于 2025-07-30 - 来自专栏每月技术成长
大模型流式输出渲染导致的性能问题
Deepseek R1 32b（可惜的是其只提供 3 小时的动态域名，过期后需要重新生成，而绑定自定义域名的方式免不了繁琐的备案机制）发现问题在使用模板生成的网站中进行对话时，熟悉的风扇声又响起了……察觉到只有当流式生成 token 时，浏览器的 cpu 占用才会明显上升，也可以明显发现启用流式传输时，网络流量大大增加了，因此直接查看调用 API 以及负责渲染输出的模块。 其具体代码平平无奇，看不出什么问题，但联想到流式传输时，有大量的 token 陆续到达，而代码里是收到一个 token 就直接进行渲染，这种简单的文字渲染并不会使用到 GPU，短时间多次渲染可能对于 cpu 来说也相当于较大的负载了，毕竟此时渲染大概率是没用上缓存的……总结未经优化直接在每次收到 token 后直接渲染，导致了 cpu 计算负担的增加，因而出现了一进行流式输出，笔者的老旧笔电直接风扇起飞的现象
58900编辑于 2025-04-14 基于 .NET 的 AI 流式输出实现AgentFramework+SignalR
基于.NET的AI流式输出实现技术栈选择AgentFramework:用于构建AI代理的框架，支持模块化设计和任务编排。 SignalR:实现实时双向通信，支持WebSocket等协议，适合流式数据传输。 awaitforeach(varchunkinresponseStream){awaitClients.Caller.SendAsync("ReceiveChunk",chunk);}}}AI代理实现创建支持流式输出的 ;}Assert.Equal("testinput",output.ToString());}这种实现方式结合了AgentFramework的AI处理能力和SignalR的实时通信特性，可以构建高效的流式
19010编辑于 2026-01-21零基础学AI大模型之Stream流式输出实战
本文将聚焦LLM的Stream流式输出，从核心原理讲起，通过“故事小助手”“科普助手”两个实战案例，带你掌握从基础调用到LCEL表达式的流式落地，最后分析流式输出的优劣势与实战注意事项。 1. 为什么需要流式输出？先搞懂“一次性输出”的痛点 在学习流式输出前，我们先明确：流式输出不是“让模型生成更快”，而是“让用户感知更快”。 流式输出核心原理：什么是Stream？ 进阶实战：用LCEL实现“科普助手”流式输出 在LangChain 0.3+中，推荐用LCEL表达式（|管道符）串联组件——流式输出也不例外。 流式输出的优势与限制：实战前必看 流式输出虽能提升体验，但并非适用于所有场景。我们需要客观看待其优劣势，避免盲目使用。
50510编辑于 2025-12-22- 来自专栏陶士涵的菜地
HTTP方式请求并处理GPT聊天补全接口的流式响应输出
python使用HTTP方式，调用OpenAI的聊天补全的流式响应接口，并处理数据 目的是，如果需要对接fastGPT等其他第三方，需要额外增加参数，或者其他开发语言调用时，不能使用官方的类库。
2K10编辑于 2024-01-03 - 来自专栏小孟开发笔记
Uniapp仿ChatGPT Stream流式输出（非Websocket）-uniapp+see接收推送示例
前言# 最近写一个chagpt小程序，流式输出可以使用websocket也可以使用stream来实现，这里就不折腾websocket的了，我发现uniapp实现流式输出的方式挺多的，主要是有些小程序还不兼容 一个EventSource会对http服务开启一个持久化链接，它发送的事件格式是‘text/stream’，开启EventSource事件后，它会一直保持开启状态，直到被要求关闭 后端php，原生实现个流式输出即可 代表本次循环不进行输出 * @param $millisecond int 数据分发间隔，单位：毫秒 * @return string * @other void */ console.log(xhr.responseText) } } xhr.send() } EventSource方式# uniapp中也可以直接使用EventSource来实现流式输出 text); }) 这样就可以在小程序中把Arraybuffer转换为字符串了 还有许多方式，比如调用第三方库来代替TextDecoder，我就不去尝试了 注意： 1.enableChunked: true流式响应开关
6.3K21编辑于 2024-03-26 - 来自专栏h5
原创自研Flutter3.41+Dio+WindowManager打造桌面版AI问答系统
基于flutter3.41.5+get+dio+window_manager对接deepseek-chat实战客户端ai流式会话系统。 ), ) ], ), ], ), ), ], ));flutter3 +dio实现流式stream输出// 调用deepseek接口final response = await dio.post( '$baseURL/v1/chat/completions', options 'deepseek-reasoner' : 'deepseek-chat', 'stream': true, // 流式输出 'max_tokens': 8192, // 限制一次请求中模型生成 ai系统Electron41 + Vite8打造流式输出客户端AI助手Vite8.0+Vue3.5+Arco深度对接DeepSeek网页版AI智能助手2026版開工新作uni-app+mphtml结合deepseek
8200编辑于 2026-04-15 - 来自专栏小孟开发笔记
使用SSE技术调用OPENAI接口并实现流式输出，用PHP语言实现
因此，为了优化这些接口的调用效率，我们可以利用 SSE(Server Sent Events) 技术来实现流式输出，保证数据能够实时到达客户端，提高数据处理效率。 在 PHP 语言中，我们可以借助 GuzzleHttp Library 以及 ReactPHP Library 等工具库，通过 SSE 技术来实现 OpenAI 的 API 接口的调用和流式输出。 注意到在这里我们设置了对响应流的事件监听，以便解析响应结果并实现流式输出。 最后，我们输出了当前这个响应数据结果。 通过上述的代码实现，我们就可以轻松地将 OpenAI 的 API 接口进行 SSE 调用，实现流式输出，并有效提高数据处理效率。
3.5K10编辑于 2024-03-26 - 来自专栏开源技术小栈
高性能PHP框架webman服务端实现流式输出有哪些解决方案？
流式输出优点 实时性：Stream流式输出能够实时地处理数据，减少了数据处理的延迟，使得数据处理的结果更加及时。 高效性：由于数据是分散存储的，因此可以并行处理数据，提高了数据处理效率。 可扩展性：Stream流式输出具有良好的可扩展性，当数据量增加时，可以通过增加节点来扩展系统的处理能力。 灵活性：Stream流式输出可以灵活地处理各种类型的数据，包括结构化数据、半结构化数据和非结构化数据。 流式输出应用场景 实时数据分析：通过Stream流式输出，可以对海量数据进行实时分析，从而得到实时的分析结果。例如，在金融领域中，可以对股票交易数据进行实时分析，得到实时的股票走势预测。 流式输出实现解决方案 webman SSE SSE也就是Server-sent Events，是一种服务端推送技术。
83010编辑于 2024-11-21 - 来自专栏h5
Electron41 + Vite8打造流式输出客户端AI助手
从零开始:用electron41+vite8.0+Vue 3 + DeepSeek搭建一个支持流式输出的 AI 对话界面系统。 功能支持性Electron41+Vite8接入DeepSeek流式打字输出，丝滑流畅内置light+dark主题支持深度思考R1模式支持Latex数学公式支持Mermaid图表渲染（拖拽、缩放、下载）支持代码块 template>Vite8.0+Vue3.5+Arco深度对接DeepSeek网页版AI智能助手2026版開工新作uni-app+mphtml结合deepseek跨端ai应用vite7.2-deepseek流式 对话|vue3.5+vant4+katex+mermaid智能ai打字会话最新实战Vite7.3+Tauri2.10深度集成DeepSeek桌面端AI智能助手Electron-DeepSeek-Chat流式
25010编辑于 2026-03-27 - 来自专栏软件测试学习
AI用例生成增加流式输出、Markdown文档上传、模型配置检测、AI评审开关...
Release清单 大家好，TestHub这次带来了重磅更新-AI 用例生成模块增加流式输出！ 2、AI用例生成模块深度优化： 用例生成增加Markdown格式需求文档上传 前台生成用例页面，支持用户自由选择“流式模式”和“完整模式” 深度优化生成逻辑，增加流式输出 优化默认编写提示词、评审提示词 3.增加生成行为配置，控制流式输出和 AI 评审开关 默认输出模式 Ai用例生成配置下，这次增加了一个生成行为配置。主要用于配置默认输出模式：实时流式输出和完整输出。 完整输出是我们上一版本的模式，很多小伙伴反馈在这个模式下，等待的时间比较长，体验不友好，所以这次特地加了流式输出。关于流式输出的功能，下面会做重点介绍。 给我生成了一份非常详细的“微信添加好友”的markdown格式的需求文档，上传，选择流式输出。
20010编辑于 2026-03-22 - 来自专栏小孟开发笔记
PHP 中使用 cURL 调用流式接口模式+流式响应并返回给客户端（php对接通义千问流模式输出给客户端–亲测可行）
内容： 在 Web 开发中，流式响应（Streaming Response）是一种高效的数据传输方式，它允许服务器在数据完全生成之前就开始向客户端发送数据。 结合 cURL 库，我们可以在 PHP 中实现流式响应，并通过 Server-Sent Events (SSE) 将数据实时推送给客户端。 本案例种php在服务端先充当客户端调用通义千问的流模式api（和普通api类似就是响应模式是流的形式），然后再充当服务端，同时开启流模式，实时输出给客户端，客户端暂时可用浏览器测试。 核心方法 /** * 流式请求--通过 cURL 发起流式请求并处理响应 * * @param string $url 请求的 URL * @param array $headers 请求头数组 "role":"system", "content":"我希望你充当机器翻译用在文本翻译场景 ，你会检测语言语种，翻译它为简体中文，不需要和我对话，直接输出翻译结果即可
3.7K10编辑于 2024-08-07 - 来自专栏陶士涵的菜地
ai聊天问答知识库机器人源码，基于gpt实现的本地知识库问答实现，聊天对话效果，发送回复以及流式输出
咨询问题 ====> openai向量接口 ====>搜索向量数据库 ====> 组织prompt 到 openai的chat接口 下面的源码是前端逻辑，实现的界面以及问答的聊天对话效果，发送回复以及流式输出
1.4K20编辑于 2023-04-26 - 来自专栏HarmonyOS点石成金
鸿蒙开发：实现AI打字机效果
具体的效果，根据业务情况而定，有两种模式，一种主动的流式输出，也就是数据以流式的形式进行返回，前端直接用组件加载即可，第二种就是刻意的流式展示，也就是在拿到数据之后，前端实现流式输出，进行打字机展示。 主动的流式输出在一般的AI会话中，实现一个流式输出，一般会采用SSE或者WebSocket协议，像OpenAI官网，DeepSeek官网是采用SSE协议，当然，在实际的开发中，大家可以选择自己适用的技术即可 ，也就是数据以流式的形式进行返回，前端直接用组件加载即可，第二种就是刻意的流式展示，也就是在拿到数据之后，前端实现流式输出，进行打字机展示。" ，也就是数据以流式的形式进行返回，前端直接用组件加载即可，第二种就是刻意的流式展示，也就是在拿到数据之后，前端实现流式输出，进行打字机展示。" ，也就是数据以流式的形式进行返回，前端直接用组件加载即可，第二种就是刻意的流式展示，也就是在拿到数据之后，前端实现流式输出，进行打字机展示。"
56510编辑于 2025-03-13 用 Go 写 AI 命令行工具的实践
你有没有想过，用 Go 写一个支持流式输出的 AI 命令行工具？ 这篇文章就来分享一下如何用 Go 实现一个支持流式输出的 AI 命令行工具。 交互式对话 交互式对话的核心是：持续接收用户输入，发送给 AI，显示回复，然后循环。 流式输出是 AI 应用的标配功能。 用户不用等 AI 全部生成完，就能看到实时输出，体验好很多。 SSE 流式响应 OpenAI 等大模型 API 支持 SSE（Server-Sent Events）流式输出。 流式输出在命令行中显示 但直接打印有个问题：如果 AI 输出很长，会占满屏幕。
10710编辑于 2026-03-02- 来自专栏phodal
流式 BFF：AI 原生架构下的智能体胶水层
TL；DR：我们需要一个新的框架、胶水层，来帮助我们适配生成式 AI 的输出，以及解决流式数据传输的问题。 即可以通过函数调用的内部智能体 而由于生成式 AI 的输出方式：类似于打字机效果，字符逐字词输出。在这种限制了交互体验的场景下，主流的智能体提供的都是流式输出方式。 这种流式传输的实现通常依赖于Server-Sent Events（SSE）技术，它允许服务端主动向客户端推送消息，建立长连接后，服务端可以源源不断地向客户端推送消息， 从而实现流式输出。 引子 2：智能体应用架构面临的新挑战 在业务系统集成这些智能体时，系统的架构需要随之演进，以适应流式输出的要求。例如，后端服务需要支持流式响应，前端应用则需要能够处理和展示这种渐进式的数据流。 例如，在 Dify 平台中： 在 Completion 场景下，输出为 $.answer。 在 Workflow 场景下，输出为 $.data.outputs，且 outputs 本身也是一个对象。
67410编辑于 2024-11-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号