- 综合排序
- 最热优先
- 最新优先
端侧AI的终极形态
李瑞龙 腾讯研究院腾讯研究院AGI路线图系列专题研究作为争夺下一代流量入口的关键机遇，端侧AI（运行在手机等设备端的生成式AI模型）已然成为各大厂商必争之地。 从2023年底高通骁龙峰会上第一批手机终端侧生成式 AI 演示至今，7B端侧模型在很长一段时间内被认为是端侧模型的入门门槛，且很难通过量化、微调等方式进一步压缩。 这些项目均以视觉理解为基础，构建多智能体协作的架构，从而实现更强的任务拆解和跨应用操作能力，这是未来端侧AI的关键组成部分。端侧AI的终极混合形态专业化端侧与全知全能云端协同或是最优解。 总的来说，端侧AI正处于一个积极探索的过程。纯端侧AI 虽然是各大厂商追求的终极形态，但它并不会太快到达，甚至不一定会到来；就像大模型通往AGI的过程，这大概会是一个相当漫长的过程。 然而，这并不妨碍端侧AI体验的提前实现，通过高质量数据、专业化目标任务训练以及云端隐私方案的混合协同与优化，端侧AI，也可以逐渐从“可用”发展到“好用”。
75810编辑于 2024-08-28- 来自专栏IT创事记
AI催生算力供给侧变革
HPC和AI应用迎来大时代 零售业只是行业变革的冰山一角。 面对数据呈指数级增长的趋势，很多行业都开始大规模利用HPC和AI，希望借此提升企业的预见性和决策力，在激烈的市场竞争中脱颖而出。 人们期待HPC和AI的供给侧，也能来一场轰轰烈烈的变革。 算力发生供给侧变革 身处HPC和AI的风口浪尖，很多设备商和服务商已经感受到了算力供给的痛点，积极进行相关的战略布局和产品研发。 要发挥AI和深度学习的全部潜力，就需要能适应计算密集型工作负载的系统来支持AI开发的各个阶段。 HPE Apollo 系统就具备这样的能力，适合端到端IVA的AI模型开发和训练，可以支持各种HPC和AI应用。
46020编辑于 2022-08-30 苹果能引领端侧AI时代吗？
○从用户价值看，端侧模型并不是必要路径 ○端侧模型存在合理性是1) 降低推理成本，2) 响应速度更快 3）更好保护隐私 2.产品：短期以小功能为先导，长期价值期待释放 ●当前AI 手机以功能探索为主， ；多模态生成在端侧的用户价值有限，更大的价值在于多模态理解 ●硬件粘性和价值 > 模型品牌吸引力 ●未来具备用户价值潜力的新领域：AI原生OS ○理解用户 + 智能唤醒APP（siri升级） ○直接access AI原生OS，复杂任务都需要云上实现 5.端侧多模态大模型：端侧的价值主要在多模态理解，而不在多模态生成 ●多模态生成不在端侧 价值有限：端侧多模态能完成的生成场景（例如修图），已有CV技术也能解决；新的生成功能 ii.也可以用线上账号的方式实现；且训练/精调只能在线上 2.3 商业价值 g.流量/收数 i.AI原生OS是手机厂商与APP生态建设的重点 ii.AI OS的功能理论上可以通过云上模型解决，但端侧+ ，端侧大模型不是孤立的技术，而是跟AI芯片（GPU/TPU等）、操作系统共同形成一个完整的技术体系。
49410编辑于 2024-09-11- 来自专栏算法之名
AI智能体
langchain 概述 langchain是LLM与AI应用的粘合剂，是一个开源框架，旨在简化使用大型语言模型构建端到端应用程序过程，它也是ReAct(reason+act)论文的落地实现。 chains，langchain把提示词、大语言模型、结果解析封装成chain，并提供标准的接口，以便允许不同的chain形成交互序列，为AI原生应用提供端到端的chain。 content='Hi.'), SystemMessage(content='你的角色是一个诗人.'), HumanMessage(content='用七言绝句的形式写一首关于AI content='Hi.'), SystemMessage(content='你的角色是一个诗人.'), HumanMessage(content='用七言绝句的形式写一首关于AI
74610编辑于 2024-09-29 - 来自专栏存储公众号：王知鱼
WD：Flash加速AI推理在端侧落地
与算力紧缺相比，数据管道读取带宽、通信效率是限制AI训练更关键因素。 端侧设备模型推理挑战 AI应用在端侧设备落地过程遇到的问题 SLM 模型虽已显著压缩，但与当前端侧设备的DRAM容量相比，仍明显超出。 端侧toC市场对价格非常敏感，提高VRAM以支持客户端推理的方式被认为是不经济的。 下图示意，RTX 2000 一张显卡的价格接近左图PC的一半。
52710编辑于 2025-02-11 - 来自专栏算法一只狗
苹果AI手机发布后，端侧AI大模型前景如何？
这里面主要的功能，基本都是是围绕着Apple Intelligence进行展开作为第一款搭载了AI大模型的手机，其部署的端侧大模型有以下几个优点：保护隐私：设备端处理数据，不涉及云端，确保用户隐私安全。 而回看国内手机厂商品牌，很多手机厂商也开始发布自家搭载了端侧大模型的AI手机。比如最近，荣耀也推出了自己的搭建了端侧大模型的手机。 荣耀Magic 7作为国内首款安卓AI智能体手机，相比于苹果有不一样的地方。比如可以利用AI帮助你进行“AI人脸反诈骗”检测，可以有效应对AI诈骗。 2.端侧AI模型现状端侧AI模型是指将AI大模型运行于用户的终端设备上，如手机或计算机，而不是依赖云端服务器。 4.总结从目前的端侧AI模型现状来看，国内外的很多厂商都聚焦于如何把大模型配置到手机上，并使得手机能够更加的智能。从苹果发布会来看，这只是AI在手机上的一个初步体现。
1.1K20编辑于 2024-09-26 - 来自专栏算法之名
AI智能体(四)
接AI智能体(三) memory工具使用 以往，我们都是直接跟大模型进行交互，没有办法系统的实现记忆。 在上图中，用户在向大模型问问题时会首先读取记忆体，查看以往是否回答过相同的问题或者相关的文档可以参考。 如果有就会返回并添加到提示词模版中，再通过大模型的处理得到答案，得到答案之后再将答案反写回记忆体，这是一个循环的过程。 history.add_ai_message('你好，我是AI助手，有什么可以帮你的吗？') history.add_ai_message('你好，我是AI助手，有什么可以帮你的吗？')
1K00编辑于 2025-02-06 - 来自专栏算法之名
AI智能体(六)
接AI智能体(五) Dify Dify是一个开源的Agent开发平台，使用Dify有两种方式，一种是使用Dify的在线平台。https://cloud.dify.ai。 一种是进行私有化部署。 DEPLOY_ENV: ${DEPLOY_ENV:-PRODUCTION} CHECK_UPDATE_URL: ${CHECK_UPDATE_URL:-https://updates.dify.ai true} WEAVIATE_AUTHORIZATION_ADMINLIST_USERS: ${WEAVIATE_AUTHORIZATION_ADMINLIST_USERS:-hello@dify.ai ssrf_proxy_network # ssrf_proxy server # for more information, please refer to # https://docs.dify.ai WVF5YThaHlkYwhGUSmCRgsX3tD5ngdN8pkih} AUTHENTICATION_APIKEY_USERS: ${WEAVIATE_AUTHENTICATION_APIKEY_USERS:-hello@dify.ai
1K00编辑于 2025-02-06 【AI智能体创作】
AI智能体创作思路 AI智能体的核心在于模拟人类思维和行为模式，通过算法和数据处理实现自主决策。创作思路通常包括目标定义、数据收集、模型训练、评估优化等环节。 目标定义阶段明确智能体的功能边界，比如聊天机器人、游戏NPC或自动化工具。数据收集阶段获取相关领域的语料、图像或其他输入数据。模型训练阶段选择合适的算法架构，如深度学习、强化学习或规则引擎。 GPT2Tokenizer.from_pretrained("gpt2-medium") model = GPT2LMHeadModel.from_pretrained("gpt2-medium") input_text = "AI 智能体的核心功能包括" input_ids = tokenizer.encode(input_text, return_tensors="pt") output = model.generate( 测试显示新版本准确率下降超过5%时 联邦学习实施方案： 采用安全聚合协议(Secure Aggregation)保护参与方数据 支持横向联邦(相同特征空间)和纵向联邦(不同特征空间)两种模式 典型应用案例：医疗AI
29910编辑于 2025-12-17- 来自专栏算法之名
AI智能体(二)
model_name': 'glm-4', 'finish_reason': 'stop'}, id='run-b982480c-39d9-4445-8888-62a10339ef86-0')]} 状态持久化 许多AI
60710编辑于 2024-10-05 - 来自专栏算法之名
AI智能体(五)
接AI智能体(四) MetaGPT 环境装配 metagpt下载地址：https://github.com/geekan/MetaGPT conda create -n metagpt python= 3.5-turbo api_key: "******" 测试： 在终端命令行中进入Meta-GPT-main目录中执行 metagpt "Write a cli snake game" 单动作智能体 多动作智能体 import asyncio import sys import subprocess from metagpt.llm import LLM from metagpt.actions import
74300编辑于 2025-02-06 - 来自专栏人工智能
Notion AI 智能体
NotionAI智能体Notion3.0的AI智能体通过自动化流程实现复杂任务闭环。其核心能力包括智能搜索、数据分析、决策制定和执行操作。 智能体通过自然语言交互理解用户需求，自动调用数据库和外部工具完成任务。用户只需输入目标，如“分析Q3销售数据并制定优化方案”，系统即可生成可视化报告和执行建议。 零一万物万智2.5平台解析万智2.5平台采用多智能体协作架构，每个角色对应特定职能：市场智能体：自动生成营销方案并执行投放HR智能体：处理招聘全流程，包括简历筛选和面试安排财务智能体：实时监控预算并生成分析报表平台通过智能体间的通信协议实现协作 例如启动新项目时，系统自动组建包含产品、设计、开发智能体的虚拟团队，各角色通过API交换数据并同步进度。 监控系统需记录智能体的决策路径和执行效果，便于持续优化。
19010编辑于 2026-01-07 - 来自专栏Go语言学习专栏
7 - AI 智能体构建 - AI 超级智能体项目教程
本节重点 学习 AI 智能体的概念和构建方法，掌握如何实现具有自主决策能力的 AI 系统。 具体内容包括： AI 智能体概念与特点 智能体实现关键技术 使用 AI 智能体的多种方式 OpenManus 实现原理 自主实现 Manus 智能体 智能体工作流编排 A2A 协议 一、什么是智能体？ 24 年流行的很多可联网搜索内容、调用知识库和工具的 AI 应用，都属于这类智能体。 三、使用 AI 智能体 有 3 种方式可以使用 AI 智能体，之前的教程中其实我们已经有接触过，这里再快速复习一遍。 比如可以在阿里云百炼、Dify 等平台上创建智能体 2、软件中使用 AI 开发工具 Cursor、tare 就集成了 AI 智能体，可以帮我们生成完整的项目代码、或者解释项目代码。
20610编辑于 2026-03-17 - 来自专栏AI科技大本营的专栏
端侧智能存算一体芯片的需求、现状与挑战
近年来以数据为中心的新型计算架构 ，例如存算一体芯片技术 ，受到人们的广泛关注 ，尤其在端侧智能场景。 但是 ，基于端侧设备在资源 、时延、成本、功耗等诸多因素的考虑 ，业界对存算一体芯片提出了苛刻的要求。因此， 存算一体介质与计算范式尤为重要。 同时，器件—芯片—算法—应用跨层协同对存算一体芯片的产业化应用与生态构建非常关键。概述了端侧智能存算一体芯片的需求 、现状 、主流方向 、应用前景与挑战等。 端侧智能应用特征与存算一体芯片需求 随着 AIoT 的快速发展 ，用户对时延 、带宽 、功耗、隐私/安全性等特殊应用需求，如图3(a)所示，驱 动边缘端侧智能应用场景的爆发。 端侧智能存算一体芯片概述[J]. 微纳电子与智能制造, 2019, 1(2): 72-82. GUO Xinjie, WANG Shaodi.
2.5K32发布于 2020-03-05 - 来自专栏AI技术应用
AI 智能体（AI Agent）的开发
AI 智能体（AI Agent）的开发是一个复杂且多阶段的过程，涉及需求分析、算法设计、模型训练、系统集成和部署等多个环节。以下是 AI 智能体开发的典型流程。 1.需求分析与定义1.1明确目标确定 AI 智能体的核心功能和应用场景（如聊天机器人、推荐系统、自动驾驶等）。定义智能体的输入、输出和交互方式。 5.2模块集成将 AI 模型集成到应用程序中。与其他模块（如数据库、用户界面）进行交互。5.3性能优化优化模型推理速度（如模型量化、剪枝）。 验证 AI 智能体在实际场景中的表现。6.3用户测试邀请目标用户进行测试，收集反馈。根据反馈调整模型和系统。7.部署与监控7.1部署环境选择部署平台（如云端、边缘设备）。 总结AI 智能体的开发流程包括需求分析、数据收集、模型设计、训练与评估、系统集成、测试验证、部署监控和维护迭代。通过合理规划和使用工具，可以高效地开发出功能强大、性能优异的 AI 智能体。
2.6K20编辑于 2025-02-18 - 来自专栏VoiceVista语音智能
边缘侧AI和端点应用(Endpoint application)创业公司
原文地址 - https://www.eetimes.com/chip-startups-for-ai-in-edge-and-endpoint-applications/ 整个行业都在努力找到可以提升 AI性能（to accelerate the AI performance）的最优解，以跟上和满足先进的神经网络所带来的需求，在全球各地都有这种各样的创业公司如雨后春笋般(spring up around 包括网关(gateway)，集线设备(hub devices)，同时也可以包括可以加速AI应用的预置服务器(on-premis servers)。 端侧AI 推理设备在此场景具有非常吸引人的应用场景 - 节省了带宽，降低了延时，保护了隐私，并且节省了射频传输至云端所需的功耗。 GreenWaves - 采用多个RISC-V内核，在超低功耗下实现机器学习应用，采用其自有的指令扩展集，在非常低的功耗下完成(facilitate) DSP和AI加速。
76520发布于 2020-03-04 - 来自专栏凯哥讲故事系列
凯哥 丨CES 2026：端侧 AI 的 崛起
02｜ 端侧 AI 的本质，是把“产品架构”翻过来 过去两年，我们习惯了一个默认前提： AI = 云端模型 = 调 API = 付推理费。 端侧 AI 是 CAPEX（一次性资本开销）：把一部分推理成本“摊到硬件折旧里”。 04｜ 产业关键矛盾：AI 让终端更聪明，也让终端更贵 这里出现一个非常“现实主义”的拧巴： 一方面，端侧 AI 需要更强的 NPU、更大的内存、更好的散热与能耗控制； 另一方面，内存供给与价格却被 AI 05｜ 把“端侧推理能力”纳入采购与架构评审 如果你是企业的数字化/IT/产品负责人，2026 年要多做一件事：把端侧 AI 当成新一代基础设施能力来评审，而不是当作“某个应用的小功能”。 ：模型调度、权限、日志、更新机制 （这也是为什么“内存涨价/供给紧张”会直接影响企业端侧 AI 的规划节奏。
26710编辑于 2026-01-13 - 来自专栏AI技术应用
AI智能体（AI Agents）的开发
AI智能体（AI Agents）的开发已经从单一的模型调用，演变为复杂的系统级工程。现在的开发核心不再是编写冗长的提示词，而是构建一套能够自主感知、决策、执行并自我反思的闭环架构。 以下是2026年AI智能体开发的核心技术体系：1. 智能体架构与编排这是智能体的“神经系统”，负责连接大脑与肢体：LangGraph：目前主流的框架，支持构建有状态、可循环的复杂图结构，允许智能体在发现错误时“回溯”并重新决策。 通过定义不同的角色（如：程序员、QA、项目经理），让多个AI通过对话自主完成复杂项目。DSPy：一种声明式编程框架，它能够自动优化提示词（Prompt），用算法生成的指令代替人工调试。3. Guardrails (护栏技术)：在智能体输出和行动前实时拦截敏感信息、非法指令或超出预算的昂贵调用。#AI智能体 #AI应用 #软件外包
23210编辑于 2026-03-16 - 来自专栏AI
AI 智能体（AI Agent）的应用
AI 智能体（AI Agent）的应用非常广泛，几乎涵盖了我们生活的方方面面。它们能够自主地感知环境、做出决策并执行行动，从而完成各种复杂的任务。以下是一些 AI 智能体的典型应用场景。 娱乐：游戏 AI： 在游戏中扮演各种角色，例如敌人、队友、NPC 等，提高游戏的可玩性和挑战性。内容创作： 能够生成文本、图像、音乐等内容，例如写小说、作诗、绘画等。 一些具体的例子：谷歌 DeepMind 的 AlphaGo： 击败了人类围棋冠军，展示了 AI 在复杂决策领域的强大能力。亚马逊的 Alexa： 能够通过语音指令控制家电设备、播放音乐、查找信息等。 百度的文心一言 APP 上的智能体： 可以进行“视频对话”、背单词、纠正口语，还可以通过 AI 智能体模拟面试、与 AI 古人对话等，体现了 AI 智能体在内容创作和人机交互方面的应用。 总而言之，AI 智能体正在深刻地改变着我们的生活和工作方式。随着技术的不断发展，AI 智能体的应用领域还将不断拓展，为我们带来更多的便利和创新。
1.4K10编辑于 2024-12-23 DeepSeek引领端侧AI革命，边缘智能重构AI价值金字塔
2025年的AI战场，硝烟早已从“参数军备竞赛”转向更隐秘的角落。随着DeepSeek等新兴小模型的突破，一场以边缘侧智能为核心的变革正悄然重塑行业格局。 根据IDC最新报告，2024年企业AI部署预算中，边缘侧投入占比首次突破35%，而云端预算增速同比下滑12个百分点。 其蒸馏技术让大模型的知识迁移到小模型，使轻量化AI在端侧设备上实现高效运行。传统认知中，“大即强”是铁律。 要让小模型真正“跑起来”，需突破三大瓶颈：硬件革新：专用AI芯片（如Arm Ethos-U85 NPU）提升端侧算力，ML性能较前代提升10倍；软件工具链：开源框架TVM、MLIR优化模型压缩与部署，开发者效率提升 AI的终极价值不在于技术的炫酷，而在于解决实际问题。边缘与端侧的落地浪潮，标志着AI进入“务实时代”——以更低的成本、更高的可靠性，赋能千行百业。
53810编辑于 2025-03-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号