- 综合排序
- 最热优先
- 最新优先
基于 .NET 的 AI 流式输出实现AgentFramework+SignalR
基于.NET的AI流式输出实现技术栈选择AgentFramework:用于构建AI代理的框架，支持模块化设计和任务编排。 SignalR:实现实时双向通信，支持WebSocket等协议，适合流式数据传输。 ：前端技术：Vue3前端框架IDS4单点登录系统一库多租户解决方案多级缓存机制CAP事件集成SignalR实时通信领域驱动设计AI智能体框架RAGAI检索增强RabbitMQ消息队列项目地址：github 代理实现创建支持流式输出的AI代理：展开代码语言：C#AI代码解释publicclassStreamingAiAgent:IAiAgent{publicIAsyncEnumerable<string>GetStreamingResponse 处理能力和SignalR的实时通信特性，可以构建高效的流式AI响应系统。
32010编辑于 2026-01-21- 来自专栏世界尽头与冷酷仙境
别让用户干等——AI 流式输出期间的消息队列架构
一、问题：被"锁死"的输入框几乎所有AI对话产品都有一个共同的交互模式：AI在输出时，用户不能发送新消息。这个设计的初衷很简单——防止并发冲突。 B-->|是|Z["忽略"]B-->|否|C{"AI正在输出？
或队列非空？"} 假设AI刚输出完，drain还没来得及触发，用户又打了一条消息，如果直接发送就会跳过排队的消息。 participantDrainas排空HookparticipantAPIas后端APIparticipantModelasAI模型User->>API:"写一个排序算法"API->>Model:开始流式输出 NoteoverModel:streaming...User->>Queue:"用TypeScript"（入队①）User->>Queue:"加上单测"（入队②）Model-->>API:流式输出完成API35910编辑于 2026-04-26 - 来自专栏程序员分享
langgraph流式输出特性测试
langgraph在astream调用模式下, 当图中包含子图节点时, 输出捕获级别会因设置产生不一样的影响本次记录个人基于 langgraph v1.1.2 的测试结果 准备工作 导入包如下:python 节点内部调用 LLM Client 直接流式获取模型回答构建如下的图, node3 为使用 LLM client 而非CompiledGraph获取回答的节点python 体验AI代码助手 代码解读复制代码 , 可以看到正常捕获到了单节点内部的流式输出有一个messages事件, 包含完整消息, 在节点return前后被捕获(似乎仅适用于LLM Client流式调用的情况, 使用CompiledGraph则不会包含 'ns': (), 'data': {'node4': {'log_info': {'node4': 'node4 执行日志'}}}}子图调用astream产生了四个"chunk", 但是它们并非模型流式输出的结果 , 'langgraph_checkpoint_ns': 'node2:f236c5a1-e972-bf00-0f4e-9300ead1eb69'})}可以观察到即使内部使用ainvoke, 父图期望流式获取大模型输出时
24810编辑于 2026-04-05 零基础学AI大模型之Stream流式输出实战
AI大模型之ChatModel聊天模型与ChatPromptTemplate实战 12、零基础学AI大模型之LangChain链 零基础学AI大模型之Stream流式输出实战 前情摘要 在之前的LangChain 本文将聚焦LLM的Stream流式输出，从核心原理讲起，通过“故事小助手”“科普助手”两个实战案例，带你掌握从基础调用到LCEL表达式的流式落地，最后分析流式输出的优劣势与实战注意事项。 1. 为什么需要流式输出？先搞懂“一次性输出”的痛点 在学习流式输出前，我们先明确：流式输出不是“让模型生成更快”，而是“让用户感知更快”。 流式输出核心原理：什么是Stream？ 流式输出的优势与限制：实战前必看 流式输出虽能提升体验，但并非适用于所有场景。我们需要客观看待其优劣势，避免盲目使用。
99410编辑于 2025-12-22- 来自专栏码匠的流水账
langchain4j+springboot流式输出
序本文主要研究一下langchain4j+springboot如何实现流式输出步骤pom.xml <dependency> <groupId>dev.langchain4j }); }); }StreamingChatLanguageModel提供了StreamingChatResponseHandler用于处理片段结果，结合Flux可以实现流式输出源码
2.6K10编辑于 2025-02-24 - 来自专栏鱼皮客栈
聊聊SpringAI流式输出的底层实现？
在 Spring AI 中，流式输出（Streaming Output）是一种逐步返回 AI 模型生成结果的技术，允许服务器将响应内容分批次实时传输给客户端，而不是等待全部内容生成完毕后再一次性返回。 技术实现 在 Spring AI 中流式输出的实现有以下两种方式： 通过 ChatModel 实现流式输出。 通过 ChatClient 实现流式输出。 ChatModel 流式输出 Spring AI 中的流式输出实现非常简单，使用 ChatModel 中的 stream 即可实现： @RequestMapping(value = "/streamChat Spring AI 流式输出 说完了前置知识，咱们回到主题：Spring AI 是如何实现流式输出的？ 生产级别使用的 Reactor 基本都是主从 Reactor 模型，它的执行流程如下： 小结 Spring AI 中的流式输出有两种实现，而通过查看这两种流式输出的实现源码可知，Spring AI 中的流式输出是通过
1.7K00编辑于 2025-04-29 - 来自专栏王磊的博客
聊聊SpringAI流式输出的底层实现？
在 Spring AI 中，流式输出（Streaming Output）是一种逐步返回 AI 模型生成结果的技术，允许服务器将响应内容分批次实时传输给客户端，而不是等待全部内容生成完毕后再一次性返回。 技术实现 在 Spring AI 中流式输出的实现有以下两种方式： 通过 ChatModel 实现流式输出。 通过 ChatClient 实现流式输出。 ChatModel 流式输出 Spring AI 中的流式输出实现非常简单，使用 ChatModel 中的 stream 即可实现： @RequestMapping(value = "/streamChat Spring AI 流式输出 说完了前置知识，咱们回到主题：Spring AI 是如何实现流式输出的？ 生产级别使用的 Reactor 基本都是主从 Reactor 模型，它的执行流程如下： 小结 Spring AI 中的流式输出有两种实现，而通过查看这两种流式输出的实现源码可知，Spring AI 中的流式输出是通过
1.6K11编辑于 2025-04-24 - </>)React19调用DeepSeek V4智能大模型react19对接deepseek api实现流式输出多轮对话。 'enabled' : 'disabled'}, stream: true, // 流式输出 max_tokens: 8192, // 限制一次请求中模型生成 completion 的最大 token 版流式ai系统Electron41 + Vite8打造流式输出客户端AI助手Vite8.0+Vue3.5+Arco深度对接DeepSeek网页版AI智能助手electron38-vite7-vue3os来自专栏h5
基于React19+Arco+Zustand5接入DeepSeek-V4网页版仿豆包Kimi流式AI系统
经过一周快速研发，最新版react19.2+zustand5集成deepseek-v4-flash实战网页版ai流式对话助手。 react环境变量配置替换下项目根目录下.env里的apikey，即可体验ai流式对话功能。
使用 Python 的 requests 库实现流式输出
使用 Python 的 requests 库实现流式输出import requestsurl = 'https://api.example.com/stream' # 替换为实际的API URLwith
自研react19.2+deepseek-v4+openai智能流式ai模板
deepseek-v4正式版快要发布了，之前有使用vite8+vue3接入deepseek搭建流式生成ai助手。 这次爆肝一周基于react19技术栈整合最新deepseek-v4-flash从0-1手搓h5版流式ai聊天模板。 Vite8.0+Vue3.5+Arco深度对接DeepSeek网页版AI智能助手uni-app+mphtml快速集成DeepSeek-V4智能ai应用Electron41 + Vite8打造流式输出客户端 AI助手react19-deepseek提供浅色+深色主题、支持流式打字输出、深度思考、代码高亮/复制/下载、渲染katex公式/mermaid图等功能。 版流式ai系统Electron41 + Vite8打造流式输出客户端AI助手Vite8.0+Vue3.5+Arco深度对接DeepSeek网页版AI智能助手
react19+arco+zustand5+react-activation简约后台管理模板
原创React19 + Vite8 + react-activation0.13.4 + Zustand5 + react-router-dom v7搭建web版轻量级Admin管理系统模板。 0.13.4vite: ^8.1.0sass: ^1.101.0clsx: ^2.1.1nprogress: ^0.2.0项目功能特性✨ 基于vite8.0构建工具vite^8.0.16搭建项目框架 最新前端技术栈react19 推荐几个最新实战项目案例Flutter3.41构建高性能App聊天界面对话+气泡+朋友圈 Flutter3.41实战AI：从零到一构建app版流式ai系统 Electron41 + Vite8打造流式输出客户端 AI助手 Vite8.0+Vue3.5+Arco深度对接DeepSeek网页版AI智能助手 2026版開工新作uni-app+mphtml结合deepseek跨端ai应用 vite7.2-deepseek 流式ai对话|vue3.5+vant4+katex+mermaid智能ai打字会话 最新实战Vite7.3+Tauri2.10深度集成DeepSeek桌面端AI智能助手 electron38-vite7
大模型流式输出渲染导致的性能问题
Deepseek R1 32b（可惜的是其只提供 3 小时的动态域名，过期后需要重新生成，而绑定自定义域名的方式免不了繁琐的备案机制）发现问题在使用模板生成的网站中进行对话时，熟悉的风扇声又响起了……察觉到只有当流式生成 token 时，浏览器的 cpu 占用才会明显上升，也可以明显发现启用流式传输时，网络流量大大增加了，因此直接查看调用 API 以及负责渲染输出的模块。 其具体代码平平无奇，看不出什么问题，但联想到流式传输时，有大量的 token 陆续到达，而代码里是收到一个 token 就直接进行渲染，这种简单的文字渲染并不会使用到 GPU，短时间多次渲染可能对于 cpu 来说也相当于较大的负载了，毕竟此时渲染大概率是没用上缓存的……总结未经优化直接在每次收到 token 后直接渲染，导致了 cpu 计算负担的增加，因而出现了一进行流式输出，笔者的老旧笔电直接风扇起飞的现象
Claude API 开发实战：流式与非流式输出的体感差异与选型指南
在具体的 API 调用设计中，选择“流式输出（Streaming）”还是“非流式输出（Non-streaming）”，对用户的体感影响究竟有多大？ 流式输出（渐进推送）：基于 Server-Sent Events（SSE）技术。 三、 维度对比：流式与非流式的量化评估为了方便开发团队评估，我们将两者的关键指标进行了对比：评估维度流式输出 (Streaming)非流式输出 (Non-streaming)首字延迟 (TTFT)极短（ 推荐使用非流式输出的场景结构化数据提取（JSON Mode）：如果要求模型输出用于系统对接的 JSON、XML 或 SQL 数据，流式的中间状态数据是损坏且无法解析的，必须使用非流式以确保接收到完整闭合的数据结构 这种“前流后静”的设计，将是未来提升 AI 应用工程质量的通用解法。
AI回答采集中的模型调用：腾讯混元API接入与流式输出实践
在构建AI回答采集系统时，模型调用是整个链路的核心环节。本文以腾讯混元为例，详细介绍模型调用的工程实践，包括认证方式、SDK使用、流式输出、结构化响应以及错误处理。 业务场景与问题在品牌AI可见度监测系统中，我们需要定期向多个AI模型提出预设问题，并采集其回答，以分析品牌在AI答案中的呈现情况。 如何高效处理流式输出？如何确保模型返回结构化数据？如何应对限流、超时和网络错误？本文以腾讯混元为例，分享我们在模型调用环节的工程实践。2. 5.2 流式输出对于长回答，使用流式输出可以提升用户体验。 10.3 流式输出中断检查网络稳定性。实现断线重连机制。11. 总结本文介绍了以腾讯混元为例的AI回答采集中的模型调用实践，包括认证、SDK使用、流式输出、结构化响应和错误处理。
Electron41 + Vite8打造流式输出客户端AI助手
从零开始:用electron41+vite8.0+Vue 3 + DeepSeek搭建一个支持流式输出的 AI 对话界面系统。 功能支持性Electron41+Vite8接入DeepSeek流式打字输出，丝滑流畅内置light+dark主题支持深度思考R1模式支持Latex数学公式支持Mermaid图表渲染（拖拽、缩放、下载）支持代码块
