首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏大模型

    04-LLM与MCP集成实践

    04-LLM与MCP集成实践概述在前三篇文章中,我们分别介绍了MCP协议、服务器开发和客户端开发。 本文将深入探讨如何将MCP工具集成到大语言模型(LLM)中,使用LangGraph构建智能代理应用,实现自动化的工具调用和状态管理。 23+45=68User:再算一下12*8AI:我来帮你计算12*8。12*8=96User:计算圆周率乘以2AI:我来帮你计算圆周率乘以2。 (result["messages"])==1集成测试展开代码语言:PythonAI代码解释@pytest.mark.asyncioasyncdeftest_graph_execution():#创建图 参考资源LangGraph官方文档LangChainMCPAdaptersDeepSeekAPI文档文章标签展开代码语言:TXTAI代码解释LangGraph,LLM集成,MCP集成,智能代理,工具调用

    14710编辑于 2026-02-03
  • 来自专栏DeepHub IMBA

    LLM-Client一个轻量级的LLM集成工具

    所以这时候LangChain就解决了这个问题,LLM集成工具为将不同的语言模型集成到您的项目中提供了一种简化的方法。抽象了与每个LLM相关的复杂性和细微差别。 我这里又发现了一个刚刚发布不久的集成工具LLM-Client就出现了,本文将深入研究LLM -client和LangChain的特性、优势和注意事项。 而LLM-Client是专门为大型语言模型(llm)集成而设计的。它用户友好的界面,专注于消除集成复杂性为开发人员提供了无缝的体验。 LangChain LangChain庞大的社区是一个显著的优势。 LLM-Client llm-client提供了一个带有标准化参数的包装器,使开发人员能够绕过复杂的设置或不一致的配置。该工具专为与llm无缝集成而设计,调用起来更简单。 LLM-Client客户端的性能、灵活性和LLM集成的针对性设计使其成为那些寻求最大控制、高效和精简工作流程的人的是一个很好的工具,尤其是有异步的调用可以提高响应性能。 作者:Uri Peled

    67410编辑于 2023-08-30
  • 来自专栏charlieroro

    矢量数据库与LLM集成:实践指南

    矢量数据库与LLM集成:实践指南 本文将了解到什么是矢量数据库,以及如何与LLMs进行集成。通过LLMs和向量数据库的结合,可以节省微调带来的开销和时间。 本文给出了如何使用向量数据库构建一个LLM,并改进LLM对该流程的使用。我们将会看到二者的结合是如何让LLMs更加准确可靠(特别针对特定主题)。 通常是将浮点数(比如f32)向量量化成整数(比如int8)向量(存储的优化比是4X))和向量量化(Vector Quantization,区别于 scalar quantization 是分别从每一个维度进行压缩 使用Falcon-7B 和 ChromaDB构建一个封闭式问题机器人 本章中,我们将介绍如何使用向量数据库来构建一个LLM,是使用的模型是一个封闭式问题机器人(Closed Q&A bot),该机器人使用一组集成的技术组件来有效解答与科学相关的问题 其友好的Python设置增强了对我们项目的吸引力,简化了与我们工作流程的集成。更多参见Chroma DB 文档。

    75510编辑于 2024-03-16
  • 来自专栏AI SPPECH

    32_语音到文本:Whisper与LLM集成_深度解析

    第3章:Whisper与LLM集成的技术架构 3.1 集成架构设计原则 Whisper与LLM集成需要遵循一系列关键设计原则,以确保系统的稳定性、性能和用户体验: 模块化设计:将音频处理、语音识别、 第5章:2025年Whisper与LLM集成的最新进展 5.1 WhisperLiveKit:全栈语音处理解决方案 2025年最引人注目的Whisper与LLM集成项目之一是WhisperLiveKit 该项目在2025年8月冲上GitHub趋势榜,成为"Vertical LLM"主题的代表性作品。 5.3 轻量化与边缘部署技术 2025年,Whisper与LLM集成的一个重要趋势是向轻量化和边缘部署方向发展: 模型量化与剪枝:通过INT8/INT4量化和结构化剪枝技术,将模型大小减小到原始的1/ 4-1/8,同时保持关键性能指标。

    66410编辑于 2025-11-13
  • 来自专栏科技记者

    8集成学习 笔记

    bagging, boosting和随机森林是应用最广泛的三类集成学习算法。 bagging和boosting都采用了集成学习的思想,不同之处是bagging组合独立的模型,boostong迭代学习。 计算集成分类算法的误差演变 # 误差演变 boosting.evol.train <- errorevol(churn.boost, trainset) boosting.evol.test <- errorevol test','train'), col = c('red', 'blue'), lty = 1:2, lwd=2) adabag包中提供了errorevol函数以方便用户根据迭代次数估算集成分类算法的误差 estimator of misclassification error Misclassification error: 0.0606 randomForest的错分率最低,性能最佳,单棵树的性能最差,集成学习优于单树

    66440编辑于 2022-03-04
  • 来自专栏MiningAlgorithms

    机器学习8集成学习--LightGBM

    而对于 Histogram 算法,则只需要(#data #features * 1Bytes)的内存消耗,仅为pre-sorted算法的1/8。 实际上可能决策树对于分割点的精确程度并不太敏感,而且较“粗”的分割点也自带正则化的效果,再加上boosting算法本身就是弱分类器的集成。 无法加速split的过程,该过程复杂度为O(#data),当数据量大的时候效率不高 2),需要广播划分的结果(左右子树的instance indices),1条数据1bit的话,大约需要花费O(#data/8)

    2.2K20发布于 2019-08-08
  • 来自专栏DeepHub IMBA

    LLM-Blender:大语言模型也可以进行集成学习

    最近在看arxiv的时候发现了一个有意思的框架:LLM-Blender,它可以使用Ensemble 的方法来对大语言模型进行集成。 官方介绍如下:LLM-Blender是一个集成框架,可以通过利用多个开源大型语言模型(llm)的不同优势来获得始终如一的卓越性能。 LLM集成 我们都知道集成学习是一种机器学习方法,旨在提高预测模型的性能和鲁棒性。它通过将多个不同的学习器(如决策树、神经网络等)结合成一个整体,来取得比单个学习器更好的预测效果。 可以集成LLM的输出(基于输入、任务和领域),以便在不同的示例中提供一致的卓越性能。结合他们独特的贡献;可以减轻个别LLM的偏差、误差和不确定性,从而使产出与人类偏好保持一致。 基准测试 论文介绍了一个名为mixdirective的新数据集,用于对llm在指令跟随任务中的集成模型进行基准测试。

    57830编辑于 2023-08-30
  • 来自专栏机器学习算法工程师

    《机器学习》笔记-集成学习(8

    章节目录 个体与集成 Boosting Bagging与随机森林 集合策略 多样性 1 个体与集成 集成学习(ensemble learning)的一般结构:先产生一组“个体学习器”(individual * 集成也可包含不同类型的个体学习器,这样集成是”异质“的(heterogeneous)。相应的个体学习器,常称为”组件学习器“(component learning)或直接称为个体学习器。 其中,√表示分类正确,x表示分类错误,集成学习的结果通过投票法(voting)产生,即“少数服从多数”。这个简单的例子显示出:要获得好的集成,个体学习器应“好而不同”。 事实上,如何产生并结合“好而不同”的个体学习器,恰是集成学习研究的核心。 3 Bagging与随机森林 欲得到泛化性能强的集成集成中的个体学习器应尽可能独立。虽然“独立”在显示任务中无法做到,但可以设法使基学习器尽可能具有较大差异。

    83760发布于 2018-03-30
  • 可定制NLP工具包spaCy与LLM集成技术解析

    ]}}, {"LOWER": "received"}, {"POS": "NOUN"}]matcher.add("TreatmentGroup", [pattern])大语言模型集成方案多后端支持 TrialSummaryTask:def parse_responses(self, docs, responses): for doc, response in zip(docs, responses): # 将LLM 自由文本输出转换为结构化实体 matcher.add("Patient\_Group", patterns) doc.ents = filter\_spans(matches)生产部署策略混合架构设计:LLM 快 | 高 || 监督学习模型 | 高 | 中 | 中 || 大语言模型 | 极高 | 慢 | 低 |进阶应用场景LLM

    17310编辑于 2025-08-11
  • 来自专栏Android相关

    Gradle For Android(8)--建立持续集成

    介绍 Continuous Integration(CI)持续集成可以在团队中每天构建非常多次。每一次自动构建都可以验证最新Push到主仓库的提交。

    1.5K30发布于 2018-10-24
  • 来自专栏DevOps

    基于n8n和LLM的告警分析探索

    alertmanger配一个webhook到发这里)2 调用alertmanager的alerts接口,获取到非静默状态的活跃告警的大的列表3 将大的告警列表转为逐个item,然后循环发给deepseek(或者其它LLM 也可以)4 LLM将分析的结果存到本地文件(因为返回的内容可能比较多,可能超过IM工具message阈值),然后将本地文件上传到OSS,最后通过IM将分析结果的url发出来。 resultItems = alerts.map(alert => { return { json: alert // 每条告警作为单独的 item 的 json 字段 };});// 返回多个 item(n8n 会自动展开)return resultItems;将LLM生成的结果写到本地文件中上传文件到oss这里稍微费事的是将LLM返回的内容写到文件中,试了code功能下没成功(可能是我的JS太弱了)。 于是改为使用shell命令的方式,在n8n的机器上写个shell脚本,如下:IM通知带上oss链接

    20610编辑于 2025-11-30
  • 来自专栏程序你好

    评估数据集成平台的8个技巧

    不幸的是,通过编写定制代码和遗留集成技术,它不能总是满足数据集成的最后期限,这会增加迁移的时间和成本。 成功的关键是找到一个数据集成平台,使快速将数据移动到云上变得容易,并在理想情况下集成其他端点,如应用程序、物联网和大数据。 您是否需要一种工具来解决战术的一次性集成挑战,也许是单一业务线(LOB)功能?或者您正在寻找一个健壮的平台来支持更具战略性的、组织范围内的集成计划对于一次性的集成,有限的平台可能就足够了。 3、您的数据集成平台的目标用户是谁?他们是熟练的开发人员、临时集成商、市民集成商还是LOB分析师? 8、你是中小型企业、中型企业还是大型企业?你正在进行一个数字转换项目或计划吗?你增长吗?您的数据集成平台需要随着您的成长而扩展吗确认集成平台支持当前和未来的需求。

    1.1K20发布于 2018-10-18
  • 来自专栏王磊的博客

    Spring Boot(六)集成 MyBatis 操作 MySQL 8

    Mybatis集成方式分为两种: 注解版集成 XML版本集成 XML版本为老式的配置集成方式,重度集成XML文件,SQL语句也是全部写在XML中的;注解版版本,相对来说比较简约,不需要XML配置,只需要使用注解和代码来操作数据 8 IDEA 2018.2 MyBatis Spring Boot 是 MyBatis 官方为了集成 Spring Boot 而推出的MyBatis版本。 xml version="1.0" encoding="UTF-8" ?> <! xml version="1.0" encoding="UTF-<em>8</em>" ?> <! xml version="1.0" encoding="UTF-<em>8</em>" ?> <!

    2.5K20发布于 2018-09-27
  • 来自专栏kl的专栏

    Quarkus集成Dubbo Rpc远程通讯框架(8)

    是一个流行的使用广泛的服务治理型RPC框架,博主所在公司,大量服务都是使用dubbo来暴露和调用的,如果想要使用quarkus替换spring boot来做业务系统,肯定要在quarkus中解决dubbo集成的问题 好在dubbo的设计比较优良,除了提供在spring环境下的自动装备加载,还可以通过手动编程的方式集成dubbo。 不过,如果确定使用quarkus作为主要的开发框架的话,最终的目标应该是将服务直接注册到k8s的service中,就不需要dubbo或者grpc这种远程通讯框架了。 smsService.sendDing("1330741xxxx",msg,"kl"); return "发送成功"; } } 结语 完成了quarkus和dubbo的集成

    73430编辑于 2023-11-18
  • 来自专栏finleyMa

    docker学习系列8 实现持续集成

    持续集成就能帮我们做到自动化。 不过有几个条件: 需要一个提供持续集成服务的平台,这里我使用国内的 daocloud 他可以接入我们的主机,提供在线 web 的方式管理运行在主机上面的容器。

    49130发布于 2018-09-10
  • 来自专栏AI工程落地

    TensorRT LLM vs OpenPPL LLM

    支持模型和功能对比PPL LLM只支持baichuan、chatglm、llama三个模型,Tensor-LLM支持几乎所有大模型。 TensorRT-LLM使用起来更方便模型量化TensorRT-LLM是离线量化,支持更多的量化方法,smooth quant、weight only、AWQ等PPL LLM是实时量化(i8i8),支持整个网络一起量化 用户使用方式PPL LLMW8A16/W16A16:原模型-->模型转换-->ppl.pmx导出onnx(可选择weight int8量化)-→部署云端服务W8A8:原模型-->模型转换-->ppl.pmx 导出onnx(可选择weight int8量化)-→部署云端服务(实时量化,选择i8i8模式)ppl.llm.serving/docs/llama_guide.md at master · openppl-public (github.com)多卡并行Tensor-LLM通过设置参数来使用多卡,--gpus_per_node:每台机器的GPU卡数量(默认是8张卡),–world_size:并行进程数量(一个进程一张卡,

    1.2K30编辑于 2023-11-21
  • 来自专栏实时计算

    ——与Blink集成完成,集成Hive,K8S

    本次Release版本修复1.2K个问题,对Flink作业的整体性能和稳定性做了重大改进,同时增加了对K8S,Python的支持。 这个版本标志着与Blink集成的完成,并且强化了流式SQL与Hive的集成,本文将详细介绍新功能和主要的改进。 在Flink1.10中推出了Active Kubernetes集成 Flink的ResourceManager(K8sResMngr)与Kubernetes进行本地通信以按需分配新的Pod,类似于Flink 的Yarn和Mesos集成。 Hive Flink 1.10通过开发将Hive集成到Flink,可用于生产环境。

    1.2K20发布于 2020-02-24
  • 在K8s上部署分离式LLM推理

    随着大语言模型(LLM)推理工作负载日益复杂,单一的整体服务进程开始触及自身极限。 在深入了解Kubernetes配置文件之前,先理解LLM的两种推理部署模式会有所帮助:在聚合式服务中,单个进程(或紧密耦合的进程组)处理从输入到输出的整个推理生命周期。 像NVIDIA Dynamo和llm-d这样的框架实现了这种模式。问题变成了:如何在Kubernetes上编排它? llm-d的工作负载变体自动扩缩器通过Prometheus监控每个Pod的KV缓存利用率和队列深度,使用备用容量模型来确定何时应添加或移除副本。 本文中的每种方法都代表了简单性和集成协调之间光谱上的不同点。正确的选择取决于工作负载、团队的操作模型,以及希望平台处理多少生命周期管理而不是应用程序层。

    1400编辑于 2026-04-16
  • 在K8s上部署分离式LLM推理

    在Kubernetes上部署分离式LLM推理工作负载随着大语言模型(LLM)推理工作负载日益复杂,单一的整体服务进程开始触及自身极限。 在深入Kubernetes配置文件之前,了解LLM的两种推理部署模式会有所帮助:在聚合式服务中,单个进程(或紧密耦合的进程组)处理从输入到输出的整个推理生命周期。 像NVIDIA Dynamo和llm-d这样的框架实现了这种模式。问题变成了:如何在Kubernetes上编排它? llm-d的工作负载变体自动扩展器通过Prometheus监控每个Pod的KV缓存利用率和队列深度,使用备用容量模型来确定何时应添加或移除副本。 本博客中的每种方法都代表了简单性和集成协调之间光谱上的不同点。正确的选择取决于你的工作负载、团队的操作模式,以及你希望平台处理多少生命周期管理,而不是应用程序层。更多信息请查看以下资源。

    9610编辑于 2026-04-09
  • 来自专栏菩提树下的杨过

    spring-boot 速成(8) 集成druid+mybatis

    spring-boot与druid、mybatis集成(包括pageHelper分页插件), 要添加以下几个依赖项: compile('mysql:mysql-connector-java:6.0.5 com.github.pagehelper:pagehelper-spring-boot-starter:1.1.1') compile('com.alibaba:druid:1.0.28') 一、集成 password: *** initial-size: 1 min-idle: 1 max-active: 20 test-on-borrow: true 二、集成

    1.6K90发布于 2018-01-18
领券