- 综合排序
- 最热优先
- 最新优先
- 来自专栏大模型
04-LLM与MCP集成实践
04-LLM与MCP集成实践概述在前三篇文章中,我们分别介绍了MCP协议、服务器开发和客户端开发。 本文将深入探讨如何将MCP工具集成到大语言模型(LLM)中,使用LangGraph构建智能代理应用,实现自动化的工具调用和状态管理。 文件:展开代码语言：BashAI代码解释#DeepSeekAPI配置DEEPSEEK_API_KEY=sk-your-actual-api-key-here#调试模式(可选)DEBUG=false基础集成架构架构图展开代码语言 (result["messages"])==1集成测试展开代码语言：PythonAI代码解释@pytest.mark.asyncioasyncdeftest_graph_execution():#创建图 参考资源LangGraph官方文档LangChainMCPAdaptersDeepSeekAPI文档文章标签展开代码语言：TXTAI代码解释LangGraph,LLM集成,MCP集成,智能代理,工具调用
13310编辑于 2026-02-03 - 来自专栏DeepHub IMBA
LLM-Client一个轻量级的LLM集成工具
所以这时候LangChain就解决了这个问题，LLM集成工具为将不同的语言模型集成到您的项目中提供了一种简化的方法。抽象了与每个LLM相关的复杂性和细微差别。 我这里又发现了一个刚刚发布不久的集成工具LLM-Client就出现了，本文将深入研究LLM -client和LangChain的特性、优势和注意事项。 而LLM-Client是专门为大型语言模型(llm)集成而设计的。它用户友好的界面，专注于消除集成复杂性为开发人员提供了无缝的体验。 LangChain LangChain庞大的社区是一个显著的优势。 LLM-Client llm-client提供了一个带有标准化参数的包装器，使开发人员能够绕过复杂的设置或不一致的配置。该工具专为与llm无缝集成而设计，调用起来更简单。 LLM-Client客户端的性能、灵活性和LLM集成的针对性设计使其成为那些寻求最大控制、高效和精简工作流程的人的是一个很好的工具，尤其是有异步的调用可以提高响应性能。 作者：Uri Peled
65910编辑于 2023-08-30 - 来自专栏charlieroro
矢量数据库与LLM的集成：实践指南
矢量数据库与LLM的集成：实践指南 本文将了解到什么是矢量数据库，以及如何与LLMs进行集成。通过LLMs和向量数据库的结合，可以节省微调带来的开销和时间。 本文给出了如何使用向量数据库构建一个LLM，并改进LLM对该流程的使用。我们将会看到二者的结合是如何让LLMs更加准确可靠(特别针对特定主题)。 使用Falcon-7B 和 ChromaDB构建一个封闭式问题机器人 本章中，我们将介绍如何使用向量数据库来构建一个LLM，是使用的模型是一个封闭式问题机器人(Closed Q&A bot)，该机器人使用一组集成的技术组件来有效解答与科学相关的问题 ", "category": "closed_qa" } 下面，我们将重点为每组指令及其各自的上下文生成词嵌入，并将它们集成到矢量数据库ChromaDB中。 其友好的Python设置增强了对我们项目的吸引力，简化了与我们工作流程的集成。更多参见Chroma DB 文档。
73910编辑于 2024-03-16 - 来自专栏AI SPPECH
32_语音到文本：Whisper与LLM集成_深度解析
这表明Whisper技术还在持续演进，为与LLM的更深度集成奠定了基础。 第2章：LLM技术基础与语音理解能力 2.1 大语言模型的语音理解基础 大语言模型（LLM）在语音理解领域展现出了巨大潜力。 第3章：Whisper与LLM集成的技术架构 3.1 集成架构设计原则 Whisper与LLM的集成需要遵循一系列关键设计原则，以确保系统的稳定性、性能和用户体验： 模块化设计：将音频处理、语音识别、 3.2 集成系统的核心组件 一个完整的Whisper与LLM集成系统通常包含以下核心组件： 音频采集与预处理模块：负责从麦克风、音频文件或流媒体获取音频数据，并进行降噪、归一化等预处理。 第5章：2025年Whisper与LLM集成的最新进展 5.1 WhisperLiveKit：全栈语音处理解决方案 2025年最引人注目的Whisper与LLM集成项目之一是WhisperLiveKit 第6章：Whisper与LLM集成的应用场景 6.1 语音购物助手 在电子商务领域，Whisper与LLM的集成催生了新一代语音购物体验： 全流程语音交互：实现从"语音搜索-商品推荐-下单支付"的全流程语音购物体验
56810编辑于 2025-11-13 - 来自专栏DeepHub IMBA
LLM-Blender：大语言模型也可以进行集成学习
最近在看arxiv的时候发现了一个有意思的框架：LLM-Blender，它可以使用Ensemble 的方法来对大语言模型进行集成。 官方介绍如下：LLM-Blender是一个集成框架，可以通过利用多个开源大型语言模型(llm)的不同优势来获得始终如一的卓越性能。 LLM集成 我们都知道集成学习是一种机器学习方法，旨在提高预测模型的性能和鲁棒性。它通过将多个不同的学习器（如决策树、神经网络等）结合成一个整体，来取得比单个学习器更好的预测效果。 可以集成LLM的输出(基于输入、任务和领域)，以便在不同的示例中提供一致的卓越性能。结合他们独特的贡献;可以减轻个别LLM的偏差、误差和不确定性，从而使产出与人类偏好保持一致。 基准测试 论文介绍了一个名为mixdirective的新数据集，用于对llm在指令跟随任务中的集成模型进行基准测试。
56330编辑于 2023-08-30 可定制NLP工具包spaCy与LLM集成技术解析
]}}, {"LOWER": "received"}, {"POS": "NOUN"}]matcher.add("TreatmentGroup", [pattern])大语言模型集成方案多后端支持 TrialSummaryTask:def parse_responses(self, docs, responses): for doc, response in zip(docs, responses): # 将LLM 自由文本输出转换为结构化实体 matcher.add("Patient\_Group", patterns) doc.ents = filter\_spans(matches)生产部署策略混合架构设计：LLM 快 | 高 || 监督学习模型 | 高 | 中 | 中 || 大语言模型 | 极高 | 慢 | 低 |进阶应用场景LLM
16710编辑于 2025-08-11- 来自专栏AI工程落地
TensorRT LLM vs OpenPPL LLM
支持模型和功能对比PPL LLM只支持baichuan、chatglm、llama三个模型，Tensor-LLM支持几乎所有大模型。 TensorRT-LLM使用起来更方便模型量化TensorRT-LLM是离线量化，支持更多的量化方法，smooth quant、weight only、AWQ等PPL LLM是实时量化（i8i8），支持整个网络一起量化 模型DeployTensorRT-LLM量化结束，不需要deploy中间模型，直接进入编译器。部分模型可以支持onnx可视化PPL LLM不需要deploy以及编译，直接用onnx调算子。 /docs/llama_guide.md at master · openppl-public/ppl.llm.serving (github.com)TensorRT LLM原模型-->量化-->编译 两个框架都是tensor并行框架依赖Tensor-LLM需要依赖tensorrt，但主要是一些单算子（卷积、激活函数、gemm等），融合算子都是Tensor-LLM自带的。PPL LLM没有依赖
1.1K30编辑于 2023-11-21 - 来自专栏NewBeeNLP
LLM in Reranking——利用LLM进行重排
现有的涉及LLM的重排方法大致可以分为三类： 用重排任务微调LLM 使用prompt让LLM进行重排 以及利用LLM做训练数据的增强 本文中针对前两种方法介绍一些研究。 部分可以填为 _< X > = “Read the following” and < Y > = “answer the”_，作者采用了两种不同的模板，并且用不同的instruction的最终得分进行集成 作者同样通过集成的方法来解决这一问题，即每个提示包含一个不同的示例，最终通过集成不同提示的得分，使模型同时能从多个示例中进行学习。 在实验中，作者用语言模型生成了200种instructions并随机采样其中10个，集成分数的方法采用最大值。 一方面，LLM的输入长度对于一个文档列表来说还是十分受限的，必须通过滑动窗口或集成的方式才能实现文档输入。
3.3K30编辑于 2023-10-25 - 来自专栏前行的CVer
LLM评测
Open LLM Leaderboard（英文） Open LLM Leaderboard中包含有下列Benchmark： 所有能力 通用&数学&code——MT-Bench，由80个高质量的多轮对话问题组成的基准 是多个数据集的结合，划分了LLM的语言、知识、推理、数学、Code、Agent几类能力。
1.6K10编辑于 2024-08-05 - 来自专栏k8s技术圈
LLM On Kubernetes
从今年开始，人们对大型语言模型 (LLM) 及其在 GPU 基础设施上的部署的兴趣显着增加。这种不断增长的热情是由人工智能和机器学习的进步推动的，这需要 GPU 能够有效提供大量的计算能力。 Ollama 是一个开源的机器学习模型部署工具，它可以帮助您将模型部署到生产环境中，简化大型语言模型 (LLM) 的管理和交互。
70010编辑于 2024-07-20 - 来自专栏时空探索之旅
WWW 2026 | LLM×Graph论文总结【LLM4Graph & Graph4LLM】
本文总结了2026 WWW上有关LLM Graph的相关论文，包含Research一个Track的论文（没有其它track），总计24篇，如有疏漏，欢迎补充。 笔者将LLM和Graph结合的工作分为两大类，一类是LLM4Graph，即LLM做图任务。 另外一类是利用Graph4LLM，即利用图这种格式来增强LLM的能力。 LLM4Graph1. Disentangled Graph LLM for Molecule Graph Editing under Distribution Shifts4. ，RAG 推荐阅读 ICLR 2026 | LLM×Graph论文总结【LLM4Graph与Graph4LLM】 ICLR 2026 | Rebuttal前 图基础模型(GFM)&文本属性图(TAG)高分论文
23510编辑于 2026-03-10 triton+tensorrt-llm后端部署LLM服务
/trtllm_checkpoint_fp16 \ --dtype float16 ❝[TensorRT-LLM] TensorRT-LLM version: 0.17.0.post1 [TensorRT-LLM][INFO] Refreshed the MPI local session [TensorRT-LLM][INFO] MPI size: 1, MPI local size : 1, rank: 0 [TensorRT-LLM][INFO] Rank 0 is using GPU 0 [TensorRT-LLM][WARNING] Fix optionalParams : ] TRTGptModel maxNumSequences: 2048 [TensorRT-LLM][INFO] TRTGptModel maxBatchSize: 2048 [TensorRT-LLM : 0 [TensorRT-LLM][INFO] TRTGptModel maxNumTokens: 8192 [TensorRT-LLM][INFO] TRTGptModel maxInputLen:
18910编辑于 2026-03-25- 来自专栏新智元
MIT等首次深度研究「集成LLM」预测能力：可媲美人类群体准确率
最近，来自伦敦政治经济学院、MIT和宾夕法尼亚大学的研究人员做了两项研究，通过简单、实际适用的预测集成方法，表明LLMs可以实现与人类群体竞赛相当的预测准确率。 论文链接：https://arxiv.org/pdf/2402.19379.pdf 在第一个研究中，将31个二元问题由12个LLM进行集成预测，与为期三个月的预测锦标赛中925名人类预测者的预测进行了比较 实验结果 研究人员从集成的12个LLM的31个问题中收集了总共1007个单独的预测，剩余的109个预测由于模型或界面的技术问题，或是内容限制政策没有收集完成。 实验结果的发现为进一步的研究和实际应用开辟了许多领域，因为LLM集成方法比从人群中收集数据要便宜得多，也快得多。 未来的研究可以旨在将集成方法与模型和支架进展相结合，这可能会在预测领域产生更强的能力增益。 参考资料： https://arxiv.org/pdf/2402.19379.pdf
41510编辑于 2024-04-13 - 来自专栏沉浸式趣谈
一个支持全平台，且集成多家 MCP、LLM、LSP 编码环境 AI 终端助手
分享一款集成多家 MCP、LLM、LSP 的编码环境的超级 AI 终端助手工具 —— Crush[1] 支持全平台 Windows、Linux、MacOS 等其他终端，交互很丝滑，非常值得体验。 多模型：从广泛的 LLM 中进行选择，或通过与 OpenAI 或 Anthropic 兼容的 API 添加自己的模型 2. 灵活：在保留上下文的同时，在课程中途切换法学硕士 3.
67610编辑于 2025-08-11 - 来自专栏AI SPPECH
136_生产监控：Prometheus集成 - 设置警报与指标选择与LLM部署监控最佳实践
引言 在大语言模型（LLM）部署的生产环境中，有效的监控系统是确保服务稳定性、可靠性和性能的关键。随着LLM模型规模的不断扩大和应用场景的日益复杂，传统的监控手段已难以满足需求。 我们将从Prometheus基础架构出发，系统介绍LLM部署中的关键监控指标、告警规则配置、可视化仪表盘设计以及与其他工具的集成方案。 部署的监控挑战 LLM部署监控面临以下特殊挑战： 资源消耗巨大：LLM模型推理需要大量的GPU/TPU资源，内存占用高 性能波动明显：不同输入长度和复杂度导致推理时间差异大 服务级别要求高：用户期望低延迟和高可用性 服务自定义指标 为LLM服务暴露自定义指标是监控的关键环节。 ( 'llm_request_latency_seconds', 'LLM request latency in seconds', ['endpoint', 'model'],
36610编辑于 2025-11-16 - 来自专栏时空探索之旅
ICLR 2026 | LLM×Graph论文总结【LLM4Graph与Graph4LLM】
本文总结了2026 ICLR上有关LLM Graph的相关论文。总计29篇，如有疏漏，欢迎补充。 观察：LLM Graph统计值 最大均分 均值 最小均分 6 5.21 4 其中均分≥6的有4篇，其中。 笔者将LLM和Graph结合的工作分为两大类，一类是LLM4Graph，即LLM做图任务。 另外一类是利用Graph4LLM，即利用图结构来增强LLM的能力。 LLM4Graph & TAG1. id=0RdAmwfVku 关键词：LLM reasoning, Knowledge Graphs, KG-enhanced LLM 作者：Wenxin Zhao, Jiachuan Wang, Yongqi id=34cANdsHKV 关键词：LLM Collaboration, Multi-Agent LLM 作者：Sukwon Yun, Jie Peng, Pingzhi Li, Wendong Fan
27410编辑于 2026-03-10 - 来自专栏新智元
11个LLM一起上，性能爆炸提升！AI2联合USC开源LLM-Blender集成学习框架：先排序再融合｜ACL 2023
有没有可能通过集成学习来综合诸多开源的「弱」LLM的能力，来使得他们整体成为一个「强」LLM呢？ AI2，USC，和浙大的研究员由此提出了一个集成学习框架，LLM-Blender，它通过排序和融合来对各个LLM的输出进行集成，从而达到了较为稳定的提升。 为了促进集成学习在LLM社区的发展和测试LLM-Blender的能力，论文作者们构建了一个新的指令数据集MixInstrcut。 其中的每一条指令都包含了来自Vicuna等数十个当前流行的开源LLMs的回答，用来训练与评估集成学习框架LLM-Blender。 3. 首次证明了集成学习在LLM社区的显著效果与其应用价值。 4. 可以明显看到不同LLM回答的质量各有千秋，并非一家独大。 此结果证明了不同LLMs之间能力的多样性，而这也正是集成学习框架LLM-Blender能够成功的原因之一。
53310编辑于 2023-08-07 - 来自专栏windealli
LLM Agent 简介
什么是LLM Agent导语GPT（尤其是GPT-4）等大语言模型（LLM）的推出，让人类认识到了大语言模型强大的文本生成能力。 只是用来做文本生成工具的话，LLM的能力就被严重低估了。 LLM Agent 概念定义关于LLM Agent， OpenAI 应用人工智能研究负责人Lilian Weng在其Blog中将LLM Agent定义为LLM、记忆（Memory）、任务规划（Planning 通过LLM和三个关键组件，LLM Agent可以拥有复杂的工作流程，其中模型基本上是与自身对话，而无需人工参与到交互的每个部分。 LLM Agent通过迭代运行并定义一些新的目标/任务，而非传统GPT那般接受单个查询的输入并返回输出LLM Agent 常见功能LLM Agent能够基于大语言模型进行对话、完成任务、推理，并可以展示一定程度的自主行为 LLM 与 三个组件LLM Agent 以 LLM 驱动，并需要三大组件辅助以完成工作（图片来自： https://lilianweng.github.io/posts/2023-06-23-agent
7K23编辑于 2024-01-12 LLM挂载&部署
limit_mm_per_prompt image=4 --max_model_len 8784 成功挂载： 在Dify中编辑“模型供应商”，添加更多模型供应商“OpenAI-API-compatible”，不仅支持LLM
29210编辑于 2025-05-22- 来自专栏磐创AI技术团队的专栏
拥有LLM模型
大型语言模型（LLM）越来越显示出其价值。将图像纳入LLMs使它们作为视觉语言模型更加有用。在本文中，我将解释一个名为GIT-LLM的模型的开发，这是一个简单但强大的视觉语言模型。 然而，在本文中，我尝试使用强大的LLM并进行微调。在这里，我称该模型为“GIT-LLM”。 使用Hugging Face的Transformers的LLM 我将使用Hugging Face的Transformers库来开发GIT-LLM。 由于它由Hugging Face开发，因此可以与Transformers无缝集成。 数据集：M3IT 对于实验，我希望使用一个将图像与文本配对且易于集成的数据集。
56910编辑于 2024-06-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号