- 综合排序
- 最热优先
- 最新优先
- 来自专栏程序员分享
langgraph流式输出特性测试
langgraph在astream调用模式下, 当图中包含子图节点时, 输出捕获级别会因设置产生不一样的影响本次记录个人基于 langgraph v1.1.2 的测试结果 准备工作 导入包如下:python 'data': {'node4': {'log_info': {'node4': 'node4 执行日志'}}}}观察type为messages的部分, 这是langgraph所捕获LLM Token输出 , 可以看到正常捕获到了单节点内部的流式输出有一个messages事件, 包含完整消息, 在节点return前后被捕获(似乎仅适用于LLM Client流式调用的情况, 使用CompiledGraph则不会包含 'ns': (), 'data': {'node4': {'log_info': {'node4': 'node4 执行日志'}}}}子图调用astream产生了四个"chunk", 但是它们并非模型流式输出的结果 -e972-bf00-0f4e-9300ead1eb69'})}可以观察到即使内部使用ainvoke, 父图期望流式获取大模型输出时, 只要设置捕获子图, 仍然可以正常获取MessageChunk
25310编辑于 2026-04-05 - 来自专栏码匠的流水账
langchain4j+springboot流式输出
序本文主要研究一下langchain4j+springboot如何实现流式输出步骤pom.xml <dependency> <groupId>dev.langchain4j }); }); }StreamingChatLanguageModel提供了StreamingChatResponseHandler用于处理片段结果，结合Flux可以实现流式输出源码
2.6K10编辑于 2025-02-24 - 来自专栏王磊的博客
聊聊SpringAI流式输出的底层实现？
技术实现 在 Spring AI 中流式输出的实现有以下两种方式： 通过 ChatModel 实现流式输出。 通过 ChatClient 实现流式输出。 ChatModel 流式输出 Spring AI 中的流式输出实现非常简单，使用 ChatModel 中的 stream 即可实现： @RequestMapping(value = "/streamChat 根据以往的经验我们知道，流式输出的实现技术基本有两种： Spring MVC（Servlet）+ SSE 实现流式输出。 Spring WebFlux Reactor 模型实现流式输出。 Spring AI 流式输出 说完了前置知识，咱们回到主题：Spring AI 是如何实现流式输出的？ 生产级别使用的 Reactor 基本都是主从 Reactor 模型，它的执行流程如下： 小结 Spring AI 中的流式输出有两种实现，而通过查看这两种流式输出的实现源码可知，Spring AI 中的流式输出是通过
1.6K11编辑于 2025-04-24 - 来自专栏鱼皮客栈
聊聊SpringAI流式输出的底层实现？
技术实现 在 Spring AI 中流式输出的实现有以下两种方式： 通过 ChatModel 实现流式输出。 通过 ChatClient 实现流式输出。 ChatModel 流式输出 Spring AI 中的流式输出实现非常简单，使用 ChatModel 中的 stream 即可实现： @RequestMapping(value = "/streamChat 根据以往的经验我们知道，流式输出的实现技术基本有两种： Spring MVC（Servlet）+ SSE 实现流式输出。 Spring WebFlux Reactor 模型实现流式输出。 Spring AI 流式输出 说完了前置知识，咱们回到主题：Spring AI 是如何实现流式输出的？ 生产级别使用的 Reactor 基本都是主从 Reactor 模型，它的执行流程如下： 小结 Spring AI 中的流式输出有两种实现，而通过查看这两种流式输出的实现源码可知，Spring AI 中的流式输出是通过
1.7K00编辑于 2025-04-29 - 来自专栏大数据学习与分享
5 种流式 ETL 模式
通常这将导致 1:1 传输，但在某些情况下，输出来自多个输入记录，因此可能存在 1:many 关系。 在这里，我们将调用三个专门的转换： 变换：提取 解析输入记录，从输入记录中提取数据并将其用作丰富派生输出记录的基础。 descriptor(_time), interval '10' seconds ) )group by window_start, window_end, path, status 5： 与几乎所有其他模式不同，触发器输出记录可能与输入记录的模式几乎没有重叠，因为它表明已在一个或多个输入记录上检测到一组条件，并作为结果输出警报。 输出模式可以表示检测到的条件、要采取的行动或两者兼而有之。
99610编辑于 2022-12-12 - 来自专栏实用技术
使用 Python 的 requests 库实现流式输出
使用 Python 的 requests 库实现流式输出import requestsurl = 'https://api.example.com/stream' # 替换为实际的API URLwith
54910编辑于 2025-07-30 - 来自专栏每月技术成长
大模型流式输出渲染导致的性能问题
Deepseek R1 32b（可惜的是其只提供 3 小时的动态域名，过期后需要重新生成，而绑定自定义域名的方式免不了繁琐的备案机制）发现问题在使用模板生成的网站中进行对话时，熟悉的风扇声又响起了……察觉到只有当流式生成 token 时，浏览器的 cpu 占用才会明显上升，也可以明显发现启用流式传输时，网络流量大大增加了，因此直接查看调用 API 以及负责渲染输出的模块。 其具体代码平平无奇，看不出什么问题，但联想到流式传输时，有大量的 token 陆续到达，而代码里是收到一个 token 就直接进行渲染，这种简单的文字渲染并不会使用到 GPU，短时间多次渲染可能对于 cpu 来说也相当于较大的负载了，毕竟此时渲染大概率是没用上缓存的……总结未经优化直接在每次收到 token 后直接渲染，导致了 cpu 计算负担的增加，因而出现了一进行流式输出，笔者的老旧笔电直接风扇起飞的现象
86600编辑于 2025-04-14 Claude API 开发实战：流式与非流式输出的体感差异与选型指南
在具体的 API 调用设计中，选择“流式输出（Streaming）”还是“非流式输出（Non-streaming）”，对用户的体感影响究竟有多大？ 流式输出（渐进推送）：基于 Server-Sent Events（SSE）技术。 三、 维度对比：流式与非流式的量化评估为了方便开发团队评估，我们将两者的关键指标进行了对比：评估维度流式输出 (Streaming)非流式输出 (Non-streaming)首字延迟 (TTFT)极短（ 必须使用流式输出的场景智能客服与聊天机器人：为了模拟人与人之间的真实对话节奏，打字机式实时吐字是不可或缺的。 推荐使用非流式输出的场景结构化数据提取（JSON Mode）：如果要求模型输出用于系统对接的 JSON、XML 或 SQL 数据，流式的中间状态数据是损坏且无法解析的，必须使用非流式以确保接收到完整闭合的数据结构
44900编辑于 2026-06-10基于 .NET 的 AI 流式输出实现AgentFramework+SignalR
基于.NET的AI流式输出实现技术栈选择AgentFramework:用于构建AI代理的框架，支持模块化设计和任务编排。 SignalR:实现实时双向通信，支持WebSocket等协议，适合流式数据传输。 awaitforeach(varchunkinresponseStream){awaitClients.Caller.SendAsync("ReceiveChunk",chunk);}}}AI代理实现创建支持流式输出的 ;}Assert.Equal("testinput",output.ToString());}这种实现方式结合了AgentFramework的AI处理能力和SignalR的实时通信特性，可以构建高效的流式
32610编辑于 2026-01-21- 来自专栏开源技术小栈
Webman 在控制器中完成 SSE 实时流式输出
服务和客户端 本质上，它采用流式方法实现，客户端向服务器发起连接请求并保持连接打开。然后服务器主动向客户端推送消息。 DOCTYPE html> <html lang="zh"> <head> <meta charset="UTF-8"> <title>客户端 SSE 输出</title> <style Courier New", monospace; overflow-y: auto; } </style> </head> <body>
客户端 SSE 输出 以下是主要实际应用场景： AI 智能助手 / 大模型流式生成 支持“打字机”效果，逐 token / 逐句实时输出回答，显著降低用户感知等待时间，提升交互自然感和沉浸感。 典型如 ChatGPT、DeepSeek、Claude 等产品的流式回复界面。 实时通知与消息提醒 用于推送新评论、点赞、私信、系统公告、好友在线状态等即时通知。
26810编辑于 2026-07-01 - 来自专栏世界尽头与冷酷仙境
别让用户干等——AI 流式输出期间的消息队列架构
queryGuard.isActive"}Q4-->|是|R4["路径4：入队等待
enqueue()"]Q4-->|否|R5["路径5：直接执行
executeUserInput B-->|是|Z["忽略"]B-->|否|C{"AI正在输出？
或队列非空？"} 直接发送sendMessage(input)}else{//streaming中或队列非空→入队enqueue(sessionId,input)}clearInput()}3.4自动排空：合并发送当AI的流式输出结束 participantDrainas排空HookparticipantAPIas后端APIparticipantModelasAI模型User->>API:"写一个排序算法"API->>Model:开始流式输出 NoteoverModel:streaming...User->>Queue:"用TypeScript"（入队①）User->>Queue:"加上单测"（入队②）Model-->>API:流式输出完成API36210编辑于 2026-04-26 零基础学AI大模型之Stream流式输出实战
本文将聚焦LLM的Stream流式输出，从核心原理讲起，通过“故事小助手”“科普助手”两个实战案例，带你掌握从基础调用到LCEL表达式的流式落地，最后分析流式输出的优劣势与实战注意事项。 1. 为什么需要流式输出？先搞懂“一次性输出”的痛点 在学习流式输出前，我们先明确：流式输出不是“让模型生成更快”，而是“让用户感知更快”。 先看“一次性输出”的典型问题： 体验割裂：生成1000字的文章需要5秒，这5秒内用户看不到任何内容，容易误以为“程序卡住了”； 内存压力大：如果生成超长文本（如万字报告），一次性加载完整结果会占用更多内存 流式输出核心原理：什么是Stream？ 5. 流式输出的优势与限制：实战前必看 流式输出虽能提升体验，但并非适用于所有场景。我们需要客观看待其优劣势，避免盲目使用。
1K10编辑于 2025-12-22腾讯混元API调用实践：认证、流式输出与错误重试
本文以腾讯混元大模型为例，介绍从认证、SDK集成、流式输出、结构化响应到错误处理的完整工程实践。适合需要构建AI数据采集或监测系统的开发者参考。 每次调用看似简单，但进入工程化后，认证、超时、流式解析、结构化输出、错误重试等问题逐一浮现。本文只解决一个问题：如何稳定、可复现地调用腾讯混元API，获取结构化的回答数据。 发送请求与流式输出混元API支持流式和非流式输出。采集系统通常需要完整回答，但流式输出可以降低首字延迟。以下示例使用流式输出并拼接完整结果。 流式输出中断现象：流式输出提前结束，内容不完整。原因：网络不稳定或服务端异常。解决：增加重试机制，并记录不完整样本用于后续分析。 总结本文以腾讯混元为例，介绍了AI回答采集中模型调用的工程实践：认证初始化、流式输出、结构化响应解析和错误重试。关键实现是使用SDK进行签名认证，流式拼接完整回答，并实现指数退避重试。
22000编辑于 2026-07-24- 来自专栏陶士涵的菜地
HTTP方式请求并处理GPT聊天补全接口的流式响应输出
python使用HTTP方式，调用OpenAI的聊天补全的流式响应接口，并处理数据 目的是，如果需要对接fastGPT等其他第三方，需要额外增加参数，或者其他开发语言调用时，不能使用官方的类库。
2.2K10编辑于 2024-01-03 - 来自专栏小孟开发笔记
Uniapp仿ChatGPT Stream流式输出（非Websocket）-uniapp+see接收推送示例
前言# 最近写一个chagpt小程序，流式输出可以使用websocket也可以使用stream来实现，这里就不折腾websocket的了，我发现uniapp实现流式输出的方式挺多的，主要是有些小程序还不兼容 一个EventSource会对http服务开启一个持久化链接，它发送的事件格式是‘text/stream’，开启EventSource事件后，它会一直保持开启状态，直到被要求关闭 后端php，原生实现个流式输出即可 代表本次循环不进行输出 * @param $millisecond int 数据分发间隔，单位：毫秒 * @return string * @other void */ console.log(xhr.responseText) } } xhr.send() } EventSource方式# uniapp中也可以直接使用EventSource来实现流式输出 text); }) 这样就可以在小程序中把Arraybuffer转换为字符串了 还有许多方式，比如调用第三方库来代替TextDecoder，我就不去尝试了 注意： 1.enableChunked: true流式响应开关
6.8K21编辑于 2024-03-26 - 来自专栏数据库与编程
通过流式数据集成实现数据价值（5）- 流分析
第1篇：通过流式数据集成实现数据价值（1） 第2篇：通过流式数据集成实现数据价值(2) 第3篇：通过流式数据集成实现数据价值（3）- 实时持续数据收集 第4篇：通过流式数据集成实现数据价值（4）-流数据管道 第5篇：通过流式数据集成实现数据价值（5）- 流处理 本篇为通过流式数据集成实现数据价值的第6篇——流分析 分析是许多流集成案例的最终目标。 流式分析是时间序列分析的最佳解决方案。 能够按某种因素对流数据进行分组，对其进行聚合，使其不断变化并在每次更改时都有输出，这是聚合的关键。这也是流分析的汇总和分析功能的关键。 用平均值代替总和，就得到了5分钟的平均值。 另外，如果您使用一个滑动窗口，每当窗口出现一个新值时，输出就会发生变化，那么平均值现在就变成了一个真正的实时移动平均值。 想象一下，除了做5分钟移动平均，你也在做5分钟移动标准差。可以检查高于或低于平均值两倍标准偏差的值，然后将触发警报，因为这是一个异常值。 因此，基于简单的统计分析，可以进行有趣的异常检测。
1.3K20编辑于 2022-04-23 - 来自专栏数据库与编程
通过流式数据集成实现数据价值（5）- 流处理
第1篇：通过流式数据集成实现数据价值（1） 第2篇：通过流式数据集成实现数据价值(2) 第3篇：通过流式数据集成实现数据价值（3）- 实时持续数据收集 第4篇：通过流式数据集成实现数据价值（4）-流数据管道 本篇为通过流式数据集成实现数据价值的第5篇——流处理 流处理的目标是将数据立即转换为目标技术所需的形式。 流处理需要直接在内存中的流式数据上执行，然后再将数据降落到磁盘上 。 进入存储区只有两个原因： 写入的目标是基于文件的系统，例如特定的数据库或云存储。 使用持久数据流。 虽然SQL可以通过一条语句(可能使用WHERE子句进行一些过滤和一些连接或列转换)实现其目标，但是需要使用GUI将5个或6个不同的转换器连接在一起。 每当任何一个窗口发生更改时，查询都会输出一个事件，并且输出将是更改后的窗口上该管道的新值，再加上其他窗口的现有度量值 视窗。
1.6K40编辑于 2022-04-23 - 来自专栏python3
#5 逆序输出列表内容
【题目】 将一个列表逆序输出 【题目分析】 看到逆序输出，想必第一反应就是列表里的第一个元素与最后一个元素交换，接着第二个元素与倒数第二个元素交换......但是有没有更加Pythonic的方法，有，那就是倒着遍历列表 /Users/minutesheep/.pyenv/shims/python 2 # -*- coding: utf-8 -*- 3 4 5 test = [1, 7, 3, 5, 'hello 2 234 hello 5 3 7 1 运行结果
1.2K10发布于 2020-01-17 - 来自专栏小孟开发笔记
使用SSE技术调用OPENAI接口并实现流式输出，用PHP语言实现
因此，为了优化这些接口的调用效率，我们可以利用 SSE(Server Sent Events) 技术来实现流式输出，保证数据能够实时到达客户端，提高数据处理效率。 在 PHP 语言中，我们可以借助 GuzzleHttp Library 以及 ReactPHP Library 等工具库，通过 SSE 技术来实现 OpenAI 的 API 接口的调用和流式输出。 注意到在这里我们设置了对响应流的事件监听，以便解析响应结果并实现流式输出。 最后，我们输出了当前这个响应数据结果。 通过上述的代码实现，我们就可以轻松地将 OpenAI 的 API 接口进行 SSE 调用，实现流式输出，并有效提高数据处理效率。
3.9K10编辑于 2024-03-26 基于 SSE 与标准 OpenAI SDK 实现大模型 API 流式输出（Streaming）完整实践
许多开发者在初次尝试流式输出时，经常遇到断流、国内服务器部署后连接口调不通、或者网络延迟过高的问题。 一、 服务器推送事件（SSE）的底层逻辑大模型的流式输出本质上是利用了 SSE（Server-Sent Events，服务器推送事件） 技术。1. 什么是 SSE？ 标准流式数据格式在标准的流式响应中，服务器返回的每一块数据通常以 data: 作为前缀，独立的块与块之间用换行符（\n\n）分隔。 standard-llm-model", # 替换为实际使用的模型标识 messages=[{"role": "user", "content": prompt}], stream=True # 开启流式输出 五、 生产环境高阶踩坑与性能优化在实际项目落地时，以下网络和服务器底层的配置往往决定了流式输出的稳定性：1.
1.1K10编辑于 2026-05-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号