- 综合排序
- 最热优先
- 最新优先
端侧AI的终极形态
李瑞龙 腾讯研究院腾讯研究院AGI路线图系列专题研究作为争夺下一代流量入口的关键机遇，端侧AI（运行在手机等设备端的生成式AI模型）已然成为各大厂商必争之地。 这些项目均以视觉理解为基础，构建多智能体协作的架构，从而实现更强的任务拆解和跨应用操作能力，这是未来端侧AI的关键组成部分。端侧AI的终极混合形态专业化端侧与全知全能云端协同或是最优解。 例如，8月份谷歌发布的轻量级小模型Gemma 2 2B，就是从6月份发布的Gemma 27B和9B Gemma 2模型中蒸馏而来的；微软开发的AI小语言模型（SLMs）Phi-3系列有多个版本，包括mini 总的来说，端侧AI正处于一个积极探索的过程。纯端侧AI 虽然是各大厂商追求的终极形态，但它并不会太快到达，甚至不一定会到来；就像大模型通往AGI的过程，这大概会是一个相当漫长的过程。 然而，这并不妨碍端侧AI体验的提前实现，通过高质量数据、专业化目标任务训练以及云端隐私方案的混合协同与优化，端侧AI，也可以逐渐从“可用”发展到“好用”。
80310编辑于 2024-08-28- 来自专栏深度学习与python
Arm 发布全新 Armv9 边缘 AI 计算平台，可运行超 10 亿参数端侧 AI 模型
作者 | 冬梅 近日，Arm 正式发布了其全球首款 Armv9 边缘 AI 计算平台。 据介绍，该平台以全新的 Arm Cortex-A320 CPU 和边缘 AI 加速器 Arm Ethos-U85 NPU 为核心，可支持运行超 10 亿参数的端侧 AI 模型。 与去年发布的基于 Cortex-M85 搭配 Ethos-U85 的平台相比，全新 Armv9 边缘 AI 计算平台的 ML 计算性能提升了 8 倍，带来了显著的 AI 计算能力突破, 助力大模型与生成式 它支持如 Neon 和 SVE2 等 Armv9 架构的关键特性，大幅提升了 AI 的计算效率。 此次发布的全新 Armv9 边缘 AI 计算平台可覆盖多个应用场景，实现包括视觉和自然语言在内的多模态的环境感知与理解，进而运行智能体 AI、自主规划、执行复杂任务。
66410编辑于 2025-03-13 - 来自专栏IT创事记
AI催生算力供给侧变革
HPC和AI应用迎来大时代 零售业只是行业变革的冰山一角。 面对数据呈指数级增长的趋势，很多行业都开始大规模利用HPC和AI，希望借此提升企业的预见性和决策力，在激烈的市场竞争中脱颖而出。 人们期待HPC和AI的供给侧，也能来一场轰轰烈烈的变革。 算力发生供给侧变革 身处HPC和AI的风口浪尖，很多设备商和服务商已经感受到了算力供给的痛点，积极进行相关的战略布局和产品研发。 要发挥AI和深度学习的全部潜力，就需要能适应计算密集型工作负载的系统来支持AI开发的各个阶段。 HPE Apollo 系统就具备这样的能力，适合端到端IVA的AI模型开发和训练，可以支持各种HPC和AI应用。
47120编辑于 2022-08-30 苹果能引领端侧AI时代吗？
北京时间9月10日凌晨，苹果正式发布了iPhone 16，这是苹果第一款真正意义上的 AI iPhone。 ○从用户价值看，端侧模型并不是必要路径 ○端侧模型存在合理性是1) 降低推理成本，2) 响应速度更快 3）更好保护隐私 2.产品：短期以小功能为先导，长期价值期待释放 ●当前AI 手机以功能探索为主， AI原生OS，复杂任务都需要云上实现 5.端侧多模态大模型：端侧的价值主要在多模态理解，而不在多模态生成 ●多模态生成不在端侧 价值有限：端侧多模态能完成的生成场景（例如修图），已有CV技术也能解决；新的生成功能 ii.也可以用线上账号的方式实现；且训练/精调只能在线上 2.3 商业价值 g.流量/收数 i.AI原生OS是手机厂商与APP生态建设的重点 ii.AI OS的功能理论上可以通过云上模型解决，但端侧+ ，端侧大模型不是孤立的技术，而是跟AI芯片（GPU/TPU等）、操作系统共同形成一个完整的技术体系。
52910编辑于 2024-09-11- 来自专栏算法之名
AI智能体
langchain 概述 langchain是LLM与AI应用的粘合剂，是一个开源框架，旨在简化使用大型语言模型构建端到端应用程序过程，它也是ReAct(reason+act)论文的落地实现。 chains，langchain把提示词、大语言模型、结果解析封装成chain，并提供标准的接口，以便允许不同的chain形成交互序列，为AI原生应用提供端到端的chain。 content='Hi.'), SystemMessage(content='你的角色是一个诗人.'), HumanMessage(content='用七言绝句的形式写一首关于AI content='Hi.'), SystemMessage(content='你的角色是一个诗人.'), HumanMessage(content='用七言绝句的形式写一首关于AI
78010编辑于 2024-09-29 - 来自专栏存储公众号：王知鱼
WD：Flash加速AI推理在端侧落地
与算力紧缺相比，数据管道读取带宽、通信效率是限制AI训练更关键因素。 端侧设备模型推理挑战 AI应用在端侧设备落地过程遇到的问题 SLM 模型虽已显著压缩，但与当前端侧设备的DRAM容量相比，仍明显超出。 端侧toC市场对价格非常敏感，提高VRAM以支持客户端推理的方式被认为是不经济的。 下图示意，RTX 2000 一张显卡的价格接近左图PC的一半。
56410编辑于 2025-02-11 - 来自专栏Go语言学习专栏
7 - AI 智能体构建 - AI 超级智能体项目教程
本节重点 学习 AI 智能体的概念和构建方法，掌握如何实现具有自主决策能力的 AI 系统。 具体内容包括： AI 智能体概念与特点 智能体实现关键技术 使用 AI 智能体的多种方式 OpenManus 实现原理 自主实现 Manus 智能体 智能体工作流编排 A2A 协议 一、什么是智能体？ 24 年流行的很多可联网搜索内容、调用知识库和工具的 AI 应用，都属于这类智能体。 三、使用 AI 智能体 有 3 种方式可以使用 AI 智能体，之前的教程中其实我们已经有接触过，这里再快速复习一遍。 比如可以在阿里云百炼、Dify 等平台上创建智能体 2、软件中使用 AI 开发工具 Cursor、tare 就集成了 AI 智能体，可以帮我们生成完整的项目代码、或者解释项目代码。
64810编辑于 2026-03-17 - 来自专栏算法一只狗
苹果AI手机发布后，端侧AI大模型前景如何？
9月10日凌晨1点，被称为“科技春晚”的苹果发布会拉开序幕。其中苹果介绍了其第一台AI手机：iPhone 16。 而回看国内手机厂商品牌，很多手机厂商也开始发布自家搭载了端侧大模型的AI手机。比如最近，荣耀也推出了自己的搭建了端侧大模型的手机。 荣耀Magic 7作为国内首款安卓AI智能体手机，相比于苹果有不一样的地方。比如可以利用AI帮助你进行“AI人脸反诈骗”检测，可以有效应对AI诈骗。 2.端侧AI模型现状端侧AI模型是指将AI大模型运行于用户的终端设备上，如手机或计算机，而不是依赖云端服务器。 其具有三个突出的优点：超强的推理能力：数学能力方面，MathBench 上的效果超越 GPT-3.5-Turbo 以及多个 7B-9B 模型。
1.2K20编辑于 2024-09-26 - 来自专栏算法之名
AI智能体(五)
接AI智能体(四) MetaGPT 环境装配 metagpt下载地址：https://github.com/geekan/MetaGPT conda create -n metagpt python= 3.5-turbo api_key: "******" 测试： 在终端命令行中进入Meta-GPT-main目录中执行 metagpt "Write a cli snake game" 单动作智能体 root set to /home/ubuntu/Downloads/MetaGPT-main 2024-12-03 13:06:11.006 | INFO | __main__:main:9 多动作智能体 import asyncio import sys import subprocess from metagpt.llm import LLM from metagpt.actions import
76000编辑于 2025-02-06 - 来自专栏算法之名
AI智能体(二)
prompt_tokens': 6, 'total_tokens': 38}, 'model_name': 'glm-4', 'finish_reason': 'stop'}, id='run-b982480c-39d9- 4445-8888-62a10339ef86-0')]} 状态持久化 许多AI的应用程序需要Memory来在多个交互中共享上下文。
64010编辑于 2024-10-05 - 来自专栏人工智能
Notion AI 智能体
NotionAI智能体Notion3.0的AI智能体通过自动化流程实现复杂任务闭环。其核心能力包括智能搜索、数据分析、决策制定和执行操作。 智能体通过自然语言交互理解用户需求，自动调用数据库和外部工具完成任务。用户只需输入目标，如“分析Q3销售数据并制定优化方案”，系统即可生成可视化报告和执行建议。 零一万物万智2.5平台解析万智2.5平台采用多智能体协作架构，每个角色对应特定职能：市场智能体：自动生成营销方案并执行投放HR智能体：处理招聘全流程，包括简历筛选和面试安排财务智能体：实时监控预算并生成分析报表平台通过智能体间的通信协议实现协作 例如启动新项目时，系统自动组建包含产品、设计、开发智能体的虚拟团队，各角色通过API交换数据并同步进度。 监控系统需记录智能体的决策路径和执行效果，便于持续优化。
24010编辑于 2026-01-07 - 来自专栏算法之名
AI智能体(四)
接AI智能体(三) memory工具使用 以往，我们都是直接跟大模型进行交互，没有办法系统的实现记忆。 在上图中，用户在向大模型问问题时会首先读取记忆体，查看以往是否回答过相同的问题或者相关的文档可以参考。 如果有就会返回并添加到提示词模版中，再通过大模型的处理得到答案，得到答案之后再将答案反写回记忆体，这是一个循环的过程。 history.add_ai_message('你好，我是AI助手，有什么可以帮你的吗？') history.add_ai_message('你好，我是AI助手，有什么可以帮你的吗？')
1K00编辑于 2025-02-06 - 来自专栏算法之名
AI智能体(六)
接AI智能体(五) Dify Dify是一个开源的Agent开发平台，使用Dify有两种方式，一种是使用Dify的在线平台。https://cloud.dify.ai。 一种是进行私有化部署。 :-UTC} DEBUG: ${DEBUG:-false} FLASK_DEBUG: ${FLASK_DEBUG:-false} SECRET_KEY: ${SECRET_KEY:-sk-9f73s3ljTXVcMT3Blb3ljTqtsKiGHXVcMT3BlbkFJLK7U DEPLOY_ENV: ${DEPLOY_ENV:-PRODUCTION} CHECK_UPDATE_URL: ${CHECK_UPDATE_URL:-https://updates.dify.ai true} WEAVIATE_AUTHORIZATION_ADMINLIST_USERS: ${WEAVIATE_AUTHORIZATION_ADMINLIST_USERS:-hello@dify.ai ssrf_proxy_network # ssrf_proxy server # for more information, please refer to # https://docs.dify.ai
1.1K00编辑于 2025-02-06 【AI智能体创作】
AI智能体创作思路 AI智能体的核心在于模拟人类思维和行为模式，通过算法和数据处理实现自主决策。创作思路通常包括目标定义、数据收集、模型训练、评估优化等环节。 目标定义阶段明确智能体的功能边界，比如聊天机器人、游戏NPC或自动化工具。数据收集阶段获取相关领域的语料、图像或其他输入数据。模型训练阶段选择合适的算法架构，如深度学习、强化学习或规则引擎。 GPT2Tokenizer.from_pretrained("gpt2-medium") model = GPT2LMHeadModel.from_pretrained("gpt2-medium") input_text = "AI 智能体的核心功能包括" input_ids = tokenizer.encode(input_text, return_tensors="pt") output = model.generate( 测试显示新版本准确率下降超过5%时 联邦学习实施方案： 采用安全聚合协议(Secure Aggregation)保护参与方数据 支持横向联邦(相同特征空间)和纵向联邦(不同特征空间)两种模式 典型应用案例：医疗AI
36510编辑于 2025-12-17- 来自专栏AI科技大本营的专栏
端侧智能存算一体芯片的需求、现状与挑战
近年来以数据为中心的新型计算架构 ，例如存算一体芯片技术 ，受到人们的广泛关注 ，尤其在端侧智能场景。 但是 ，基于端侧设备在资源 、时延、成本、功耗等诸多因素的考虑 ，业界对存算一体芯片提出了苛刻的要求。因此， 存算一体介质与计算范式尤为重要。 例如 ，加州大学伯克利分校的 Patterson 等[9]成功把处理器集成在DRAM内存芯片当中，实现 一种智能存算一体计算架构。 端侧智能应用特征与存算一体芯片需求 随着 AIoT 的快速发展 ，用户对时延 、带宽 、功耗、隐私/安全性等特殊应用需求，如图3(a)所示，驱 动边缘端侧智能应用场景的爆发。 存算一体芯 片 大 规 模 产 业 化 的 挑 战 主 要 来 自 两 方 面 ： (1 )技 术 层 面:存算一体芯片涉及器件—芯片—算法—应用等多 层次的跨层协同 ，如图 9 所示。
2.6K32发布于 2020-03-05 - 来自专栏AI大模型应用开发炼丹房
一文读懂AI智能体架构设计的9大核心技术
今天我们来系统梳理AI智能体架构设计的九大核心技术，这些技术构成了现代AI应用开发的核心框架，涵盖从基础推理到多智能体协作、从数据处理到人机交互的关键层面。欢迎各位指正交流。 一、AI 智能体（AI Agent）AI智能体是一种具备自主意识的软件实体，能够感知环境、进行推理与决策，并执行相应动作。 这种结构使AI智能体兼具高效性、灵活性和适应性。二、Agentic AIAgentic AI 代表多智能体协作的系统架构。 ps：如果你对多智能体代理的工作模式和技术不是很了解，建议你可以看看我之前整理的一个技术文档《Agentic AI 多智能体代理模式技术详解》三、工作流（WorkFlow）WorkFlow 通过将大任务拆解为多个小任务 最后总结以上九大技术构成了AI智能体架构的核心体系，覆盖了智能体基础、多智能体协作、知识增强、模型优化、工具调用、协议标准化及人机交互等关键维度。
3.9K41编辑于 2025-09-11 - 来自专栏VoiceVista语音智能
边缘侧AI和端点应用(Endpoint application)创业公司
AI性能（to accelerate the AI performance）的最优解，以跟上和满足先进的神经网络所带来的需求，在全球各地都有这种各样的创业公司如雨后春笋般(spring up around 包括网关(gateway)，集线设备(hub devices)，同时也可以包括可以加速AI应用的预置服务器(on-premis servers)。 端侧AI 推理设备在此场景具有非常吸引人的应用场景 - 节省了带宽，降低了延时，保护了隐私，并且节省了射频传输至云端所需的功耗。 其第二代产品GAP9，拥有10个RISC-V核心。其中(of those)，一个作为Fabric controller，另外9个形成计算集群(cluster)。 GreenWaves’ figures have GAP9 running MobileNet V1 on 160 x 160 images with a channel scaling of 0.25
78020发布于 2020-03-04 - 来自专栏凯哥讲故事系列
凯哥 丨CES 2026：端侧 AI 的 崛起
，是默认；云是后援，端是主力 01｜ CES 的“AI 喧嚣”背后的现实 2026 年 1 月 6–9 日，CES 在拉斯维加斯开幕，官方议程和展会叙事已经把 AI 放在“主舞台”。 02｜ 端侧 AI 的本质，是把“产品架构”翻过来 过去两年，我们习惯了一个默认前提： AI = 云端模型 = 调 API = 付推理费。 端侧 AI 是 CAPEX（一次性资本开销）：把一部分推理成本“摊到硬件折旧里”。 04｜ 产业关键矛盾：AI 让终端更聪明，也让终端更贵 这里出现一个非常“现实主义”的拧巴： 一方面，端侧 AI 需要更强的 NPU、更大的内存、更好的散热与能耗控制； 另一方面，内存供给与价格却被 AI ：模型调度、权限、日志、更新机制 （这也是为什么“内存涨价/供给紧张”会直接影响企业端侧 AI 的规划节奏。
33110编辑于 2026-01-13 - 来自专栏AI技术应用
AI 智能体（AI Agent）的开发
AI 智能体（AI Agent）的开发是一个复杂且多阶段的过程，涉及需求分析、算法设计、模型训练、系统集成和部署等多个环节。以下是 AI 智能体开发的典型流程。 1.需求分析与定义1.1明确目标确定 AI 智能体的核心功能和应用场景（如聊天机器人、推荐系统、自动驾驶等）。定义智能体的输入、输出和交互方式。 验证 AI 智能体在实际场景中的表现。6.3用户测试邀请目标用户进行测试，收集反馈。根据反馈调整模型和系统。7.部署与监控7.1部署环境选择部署平台（如云端、边缘设备）。 8.3技术升级跟踪最新 AI 技术，升级算法和框架。优化系统架构，提高可扩展性。9.常用工具与框架9.1开发框架机器学习：Scikit-learn、XGBoost。 总结AI 智能体的开发流程包括需求分析、数据收集、模型设计、训练与评估、系统集成、测试验证、部署监控和维护迭代。通过合理规划和使用工具，可以高效地开发出功能强大、性能优异的 AI 智能体。
2.7K20编辑于 2025-02-18 - 来自专栏AI
AI 智能体（AI Agent）的应用
AI 智能体（AI Agent）的应用非常广泛，几乎涵盖了我们生活的方方面面。它们能够自主地感知环境、做出决策并执行行动，从而完成各种复杂的任务。以下是一些 AI 智能体的典型应用场景。 娱乐：游戏 AI： 在游戏中扮演各种角色，例如敌人、队友、NPC 等，提高游戏的可玩性和挑战性。内容创作： 能够生成文本、图像、音乐等内容，例如写小说、作诗、绘画等。 一些具体的例子：谷歌 DeepMind 的 AlphaGo： 击败了人类围棋冠军，展示了 AI 在复杂决策领域的强大能力。亚马逊的 Alexa： 能够通过语音指令控制家电设备、播放音乐、查找信息等。 百度的文心一言 APP 上的智能体： 可以进行“视频对话”、背单词、纠正口语，还可以通过 AI 智能体模拟面试、与 AI 古人对话等，体现了 AI 智能体在内容创作和人机交互方面的应用。 总而言之，AI 智能体正在深刻地改变着我们的生活和工作方式。随着技术的不断发展，AI 智能体的应用领域还将不断拓展，为我们带来更多的便利和创新。
1.5K10编辑于 2024-12-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号