按照官方的说法,总共有 6 大核心概念。大家简单了解一下即可,除了 Tools 工具之外的其他概念都不是很实用,如果要进一步学习可以阅读对应的官方文档。 如图,官方提供了很多现成的 MCP 服务: 让我们进入一个智能体应用,在左侧可以点击添加 MCP 服务,然后选择想要使用的 MCP 服务即可,比如使用高德地图 MCP 服务,提供地理信息查询等 12 spring-ai-mcp-client-spring-boot-starter</artifactId> <version>1.0.0-M6</version> </dependency> 2)在 </artifactId> <version>1.0.0-M6</version> </dependency> 引入这个依赖后,会自动注册 SSE 端点,供客户端调用。 6)跨平台兼容性:开发 MCP 服务时,应该考虑在 Windows、Linux 和 macOS 等不同操作系统上的兼容性。
量化后的端侧内存约6GB,推理速度可达18 tokens/s,达到可用的标准。 在6月的Apple Intelligence发布会上,苹果表示,Siri的全新形态将改变交互规则,大量AI新功能将很快上线;此外,屏幕读取以及App内与App之间的操作等能力预计明年到位,这将使AI真正串联起苹果生态下的诸多应用 这些项目均以视觉理解为基础,构建多智能体协作的架构,从而实现更强的任务拆解和跨应用操作能力,这是未来端侧AI的关键组成部分。端侧AI的终极混合形态专业化端侧与全知全能云端协同或是最优解。 例如,8月份谷歌发布的轻量级小模型Gemma 2 2B,就是从6月份发布的Gemma 27B和9B Gemma 2模型中蒸馏而来的;微软开发的AI小语言模型(SLMs)Phi-3系列有多个版本,包括mini 然而,这并不妨碍端侧AI体验的提前实现,通过高质量数据、专业化目标任务训练以及云端隐私方案的混合协同与优化,端侧AI,也可以逐渐从“可用”发展到“好用”。
比如翻译任务,如果一个智能体一次翻译可能结果一般,但是如果分成多个智能体,先直译然后反思最后意译结果就好很多。 3. 使用工具 智能体有能力调用工具,并且能选择最适合当前任务的工具。 协作 通常对于复杂的任务,不是一个智能体在完成任务,而是多个智能体一起完成任务,那么在整个过程中,需要确保智能体之间能相互通信,比如一个智能体的输出可以作为下一个智能体的输入,比如有一个智能体专门负责调度根据中间结果调用不同的智能体 所以对于多智能体系统,还需要设计好工作流,确保智能体之间整体协作的通畅。 这种协作不仅是指智能体和智能体之间,也包含人和智能体之间的协作。 比如 Devin 这种复杂的 AI 软件工程师,在遇到一些解决不了的错误时,也需要人工干预。 5. 6. 记忆能力 记忆能力指的是智能体要有能力记得自己做过的事情,得到和生成的数据,用这些数据来进行后面的决策和完成任务。
HPC和AI应用迎来大时代 零售业只是行业变革的冰山一角。 面对数据呈指数级增长的趋势,很多行业都开始大规模利用HPC和AI,希望借此提升企业的预见性和决策力,在激烈的市场竞争中脱颖而出。 人们期待HPC和AI的供给侧,也能来一场轰轰烈烈的变革。 算力发生供给侧变革 身处HPC和AI的风口浪尖,很多设备商和服务商已经感受到了算力供给的痛点,积极进行相关的战略布局和产品研发。 要发挥AI和深度学习的全部潜力,就需要能适应计算密集型工作负载的系统来支持AI开发的各个阶段。 HPE Apollo 系统就具备这样的能力,适合端到端IVA的AI模型开发和训练,可以支持各种HPC和AI应用。
○从用户价值看,端侧模型并不是必要路径 ○端侧模型存在合理性是1) 降低推理成本,2) 响应速度更快 3)更好保护隐私 2.产品:短期以小功能为先导,长期价值期待释放 ●当前AI 手机以功能探索为主, (by 小白测评数据库,续航时间基于标准输出电压3.7V估算) 电池容量增长分析预测:未来每年增长不超过5~10% 以iPhone和三星galaxy为例,近10年平均每年增长5~6%,尤其是21年以来, AI原生OS,复杂任务都需要云上实现 5.端侧多模态大模型:端侧的价值主要在多模态理解,而不在多模态生成 ●多模态生成不在端侧 价值有限:端侧多模态能完成的生成场景(例如修图),已有CV技术也能解决;新的生成功能 ii.也可以用线上账号的方式实现;且训练/精调只能在线上 2.3 商业价值 g.流量/收数 i.AI原生OS是手机厂商与APP生态建设的重点 ii.AI OS的功能理论上可以通过云上模型解决,但端侧+ ,端侧大模型不是孤立的技术,而是跟AI芯片(GPU/TPU等)、操作系统共同形成一个完整的技术体系。
langchain 概述 langchain是LLM与AI应用的粘合剂,是一个开源框架,旨在简化使用大型语言模型构建端到端应用程序过程,它也是ReAct(reason+act)论文的落地实现。 chains,langchain把提示词、大语言模型、结果解析封装成chain,并提供标准的接口,以便允许不同的chain形成交互序列,为AI原生应用提供端到端的chain。 content='Hi.'), SystemMessage(content='你的角色是一个诗人.'), HumanMessage(content='用七言绝句的形式写一首关于AI content='Hi.'), SystemMessage(content='你的角色是一个诗人.'), HumanMessage(content='用七言绝句的形式写一首关于AI
与算力紧缺相比,数据管道读取带宽、通信效率是限制AI训练更关键因素。 端侧设备模型推理挑战 AI应用在端侧设备落地过程遇到的问题 SLM 模型虽已显著压缩,但与当前端侧设备的DRAM容量相比,仍明显超出。 端侧toC市场对价格非常敏感,提高VRAM以支持客户端推理的方式被认为是不经济的。 下图示意,RTX 2000 一张显卡的价格接近左图PC的一半。
本节重点 学习 AI 智能体的概念和构建方法,掌握如何实现具有自主决策能力的 AI 系统。 具体内容包括: AI 智能体概念与特点 智能体实现关键技术 使用 AI 智能体的多种方式 OpenManus 实现原理 自主实现 Manus 智能体 智能体工作流编排 A2A 协议 一、什么是智能体? 24 年流行的很多可联网搜索内容、调用知识库和工具的 AI 应用,都属于这类智能体。 三、使用 AI 智能体 有 3 种方式可以使用 AI 智能体,之前的教程中其实我们已经有接触过,这里再快速复习一遍。 比如可以在阿里云百炼、Dify 等平台上创建智能体 2、软件中使用 AI 开发工具 Cursor、tare 就集成了 AI 智能体,可以帮我们生成完整的项目代码、或者解释项目代码。
RequestBody的方式是 private String resolveBodyFromRequest(ServerHttpRequest serverHttpRequest){ //获取请求体 } private String resolveBodyFromRequest(ServerHttpRequest serverHttpRequest) { //获取请求体 com.mt.demo.gateway.filter.MyFilter : websession: 46fad4ce-4137-49c2-b694-93f5f140e2d9 可以看到subscribe的消息体延时收到
而回看国内手机厂商品牌,很多手机厂商也开始发布自家搭载了端侧大模型的AI手机。比如最近,荣耀也推出了自己的搭建了端侧大模型的手机。 荣耀Magic 7作为国内首款安卓AI智能体手机,相比于苹果有不一样的地方。比如可以利用AI帮助你进行“AI人脸反诈骗”检测,可以有效应对AI诈骗。 2.端侧AI模型现状端侧AI模型是指将AI大模型运行于用户的终端设备上,如手机或计算机,而不是依赖云端服务器。 4.总结从目前的端侧AI模型现状来看,国内外的很多厂商都聚焦于如何把大模型配置到手机上,并使得手机能够更加的智能。从苹果发布会来看,这只是AI在手机上的一个初步体现。 __biz=MzIzNjc1NzUzMw==&mid=2247746721&idx=1&sn=2f9781381d73c5371b200bb6de3ad05c&chksm=e9faddbb7df4b0af62fec6a45efbe4fbf235e757f3548eaf926ca7f24b61fb41f501a82756d8
接AI智能体(四) MetaGPT 环境装配 metagpt下载地址:https://github.com/geekan/MetaGPT conda create -n metagpt python= 3.5-turbo api_key: "******" 测试: 在终端命令行中进入Meta-GPT-main目录中执行 metagpt "Write a cli snake game" 单动作智能体 多动作智能体 import asyncio import sys import subprocess from metagpt.llm import LLM from metagpt.actions import
additional_kwargs={}, response_metadata={'token_usage': {'completion_tokens': 32, 'prompt_tokens': 6, model_name': 'glm-4', 'finish_reason': 'stop'}, id='run-b982480c-39d9-4445-8888-62a10339ef86-0')]} 状态持久化 许多AI
NotionAI智能体Notion3.0的AI智能体通过自动化流程实现复杂任务闭环。其核心能力包括智能搜索、数据分析、决策制定和执行操作。 智能体通过自然语言交互理解用户需求,自动调用数据库和外部工具完成任务。用户只需输入目标,如“分析Q3销售数据并制定优化方案”,系统即可生成可视化报告和执行建议。 零一万物万智2.5平台解析万智2.5平台采用多智能体协作架构,每个角色对应特定职能:市场智能体:自动生成营销方案并执行投放HR智能体:处理招聘全流程,包括简历筛选和面试安排财务智能体:实时监控预算并生成分析报表平台通过智能体间的通信协议实现协作 例如启动新项目时,系统自动组建包含产品、设计、开发智能体的虚拟团队,各角色通过API交换数据并同步进度。 监控系统需记录智能体的决策路径和执行效果,便于持续优化。
接AI智能体(三) memory工具使用 以往,我们都是直接跟大模型进行交互,没有办法系统的实现记忆。 在上图中,用户在向大模型问问题时会首先读取记忆体,查看以往是否回答过相同的问题或者相关的文档可以参考。 如果有就会返回并添加到提示词模版中,再通过大模型的处理得到答案,得到答案之后再将答案反写回记忆体,这是一个循环的过程。 history.add_ai_message('你好,我是AI助手,有什么可以帮你的吗?') -405e-81c8-2172fb6bdb6d-0' 0.8744988441467285 {'joke': AIMessage(content='当然可以,接下来是一个关于熊的笑话:\n\n为什么熊冬眠的时候从来不做梦
接AI智能体(五) Dify Dify是一个开源的Agent开发平台,使用Dify有两种方式,一种是使用Dify的在线平台。https://cloud.dify.ai。 一种是进行私有化部署。 DEPLOY_ENV: ${DEPLOY_ENV:-PRODUCTION} CHECK_UPDATE_URL: ${CHECK_UPDATE_URL:-https://updates.dify.ai OCEANBASE_CLUSTER_NAME: ${OCEANBASE_CLUSTER_NAME:-difyai} OCEANBASE_MEMORY_LIMIT: ${OCEANBASE_MEMORY_LIMIT:-6G redis: image: redis:6-alpine restart: always environment: REDISCLI_AUTH: ${REDIS_PASSWORD oceanbase/init.d:/root/boot/init.d environment: OB_MEMORY_LIMIT: ${OCEANBASE_MEMORY_LIMIT:-6G
AI智能体创作思路 AI智能体的核心在于模拟人类思维和行为模式,通过算法和数据处理实现自主决策。创作思路通常包括目标定义、数据收集、模型训练、评估优化等环节。 目标定义阶段明确智能体的功能边界,比如聊天机器人、游戏NPC或自动化工具。数据收集阶段获取相关领域的语料、图像或其他输入数据。模型训练阶段选择合适的算法架构,如深度学习、强化学习或规则引擎。 GPT2Tokenizer.from_pretrained("gpt2-medium") model = GPT2LMHeadModel.from_pretrained("gpt2-medium") input_text = "AI 智能体的核心功能包括" input_ids = tokenizer.encode(input_text, return_tensors="pt") output = model.generate( 测试显示新版本准确率下降超过5%时 联邦学习实施方案: 采用安全聚合协议(Secure Aggregation)保护参与方数据 支持横向联邦(相同特征空间)和纵向联邦(不同特征空间)两种模式 典型应用案例:医疗AI
近年来以数据为中心的新型计算架构 ,例如存算一体芯片技术 ,受到人们的广泛关注 ,尤其在端侧智能场景。 但是 ,基于端侧设备在资源 、时延、成本、功耗等诸多因素的考虑 ,业界对存算一体芯片提出了苛刻的要求。因此, 存算一体介质与计算范式尤为重要。 同时,器件—芯片—算法—应用跨层协同对存算一体芯片的产业化应用与生态构建非常关键。概述了端侧智能存算一体芯片的需求 、现状 、主流方向 、应用前景与挑战等。 端侧智能应用特征与存算一体芯片需求 随着 AIoT 的快速发展 ,用户对时延 、带宽 、功耗、隐私/安全性等特殊应用需求,如图3(a)所示,驱 动边缘端侧智能应用场景的爆发。 如图 6 所示为一种典型 实现方案[33] ,当多行单元同时被选通时 ,不同单元之 间因为存储数据的不同会产生电荷交换共享 ,从而实现逻辑运算。
AI性能(to accelerate the AI performance)的最优解,以跟上和满足先进的神经网络所带来的需求,在全球各地都有这种各样的创业公司如雨后春笋般(spring up around 包括网关(gateway),集线设备(hub devices),同时也可以包括可以加速AI应用的预置服务器(on-premis servers)。 processing unit)支持大规模并行架构(massively parallel architecture),包括1,200个专用核心(specialized cores),每一个核心可运行6个程序线程 (target market) Horizon Robotics - Horizon在2019年融资6亿美金之后,其估值目前已经超过了30亿美金。 端侧AI 推理设备在此场景具有非常吸引人的应用场景 - 节省了带宽,降低了延时,保护了隐私,并且节省了射频传输至云端所需的功耗。
,是默认;云是后援,端是主力 01| CES 的“AI 喧嚣”背后的现实 2026 年 1 月 6–9 日,CES 在拉斯维加斯开幕,官方议程和展会叙事已经把 AI 放在“主舞台”。 02| 端侧 AI 的本质,是把“产品架构”翻过来 过去两年,我们习惯了一个默认前提: AI = 云端模型 = 调 API = 付推理费。 端侧 AI 是 CAPEX(一次性资本开销):把一部分推理成本“摊到硬件折旧里”。 04| 产业关键矛盾:AI 让终端更聪明,也让终端更贵 这里出现一个非常“现实主义”的拧巴: 一方面,端侧 AI 需要更强的 NPU、更大的内存、更好的散热与能耗控制; 另一方面,内存供给与价格却被 AI :模型调度、权限、日志、更新机制 (这也是为什么“内存涨价/供给紧张”会直接影响企业端侧 AI 的规划节奏。
AI 智能体(AI Agent)的开发是一个复杂且多阶段的过程,涉及需求分析、算法设计、模型训练、系统集成和部署等多个环节。以下是 AI 智能体开发的典型流程。 1.需求分析与定义1.1明确目标确定 AI 智能体的核心功能和应用场景(如聊天机器人、推荐系统、自动驾驶等)。定义智能体的输入、输出和交互方式。 5.2模块集成将 AI 模型集成到应用程序中。与其他模块(如数据库、用户界面)进行交互。5.3性能优化优化模型推理速度(如模型量化、剪枝)。 6.测试与验证6.1单元测试对各个模块进行单元测试,确保功能正确。6.2集成测试测试整个系统的功能和性能。验证 AI 智能体在实际场景中的表现。6.3用户测试邀请目标用户进行测试,收集反馈。 总结AI 智能体的开发流程包括需求分析、数据收集、模型设计、训练与评估、系统集成、测试验证、部署监控和维护迭代。通过合理规划和使用工具,可以高效地开发出功能强大、性能优异的 AI 智能体。