- 综合排序
- 最热优先
- 最新优先
端侧AI的终极形态
直到我们看到Apple Intelligence通过一系列巧妙操作，将3B模型成功压缩进苹果手机中，根据苹果官网的介绍，Apple Intelligence包括两个模型：一个是参数量为3B、可在手机上直接运行的纯端侧模型 它通过专项任务小模型的生成、适配器的动态加载与交换、以及端侧模型的整体量化压缩，配合特定的JSON结构化提示词工程，使得这个3B的小模型在特定的端侧任务上表现出色，足以媲美像Mistral-7B和Gemma 微软作为端侧模型的有力竞争者Phi-3/3.5的开发者，除了模型本身，还提供了一套名为Agents的工具（Copilot的自定义版）。 这些项目均以视觉理解为基础，构建多智能体协作的架构，从而实现更强的任务拆解和跨应用操作能力，这是未来端侧AI的关键组成部分。端侧AI的终极混合形态专业化端侧与全知全能云端协同或是最优解。 然而，这并不妨碍端侧AI体验的提前实现，通过高质量数据、专业化目标任务训练以及云端隐私方案的混合协同与优化，端侧AI，也可以逐渐从“可用”发展到“好用”。
80310编辑于 2024-08-28- 来自专栏IT创事记
AI催生算力供给侧变革
HPC和AI应用迎来大时代 零售业只是行业变革的冰山一角。 金融行业需要分析复杂系统中的数据变量，寻求应对跨区域、跨品种风险的最优投资组合；医药行业通过运用HPC和AI，能够大幅缩短DNA测序、基因表达、3D建模、药物研究等工作的探索时间；制造业则借助强大的计算和分析能力 人们期待HPC和AI的供给侧，也能来一场轰轰烈烈的变革。 算力发生供给侧变革 身处HPC和AI的风口浪尖，很多设备商和服务商已经感受到了算力供给的痛点，积极进行相关的战略布局和产品研发。 要发挥AI和深度学习的全部潜力，就需要能适应计算密集型工作负载的系统来支持AI开发的各个阶段。 HPE Apollo 系统就具备这样的能力，适合端到端IVA的AI模型开发和训练，可以支持各种HPC和AI应用。
47120编辑于 2022-08-30 苹果能引领端侧AI时代吗？
○从用户价值看，端侧模型并不是必要路径 ○端侧模型存在合理性是1) 降低推理成本，2) 响应速度更快 3）更好保护隐私 2.产品：短期以小功能为先导，长期价值期待释放 ●当前AI 手机以功能探索为主， <问题3>从厂商角度出发，手机端侧模型的“价值”是什么？ 3.能耗：发热&续航表现短期不会大幅优化，是手机端侧大模型的主要瓶颈 现状：目前没有大规模测试端侧模型推理的功耗；以游戏运行为benchmark，功率大约在4~7W，续航时间仅为3~4小时 崩坏：星穹铁道最高画质各机型实测结果 AI原生OS，复杂任务都需要云上实现 5.端侧多模态大模型：端侧的价值主要在多模态理解，而不在多模态生成 ●多模态生成不在端侧 价值有限：端侧多模态能完成的生成场景（例如修图），已有CV技术也能解决；新的生成功能 ，端侧大模型不是孤立的技术，而是跟AI芯片（GPU/TPU等）、操作系统共同形成一个完整的技术体系。
52910编辑于 2024-09-11- 来自专栏算法之名
AI智能体
langchain 概述 langchain是LLM与AI应用的粘合剂，是一个开源框架，旨在简化使用大型语言模型构建端到端应用程序过程，它也是ReAct(reason+act)论文的落地实现。 chains，langchain把提示词、大语言模型、结果解析封装成chain，并提供标准的接口，以便允许不同的chain形成交互序列，为AI原生应用提供端到端的chain。 content='Hi.'), SystemMessage(content='你的角色是一个诗人.'), HumanMessage(content='用七言绝句的形式写一首关于AI content='Hi.'), SystemMessage(content='你的角色是一个诗人.'), HumanMessage(content='用七言绝句的形式写一首关于AI
78010编辑于 2024-09-29 - 来自专栏存储公众号：王知鱼
WD：Flash加速AI推理在端侧落地
• 算力 3x / 2yrs • 内存带宽 1.6x / 2yrs • 片上互联带宽 1.4x / 2yrs 想表达什么？ 与算力紧缺相比，数据管道读取带宽、通信效率是限制AI训练更关键因素。 端侧设备模型推理挑战 AI应用在端侧设备落地过程遇到的问题 SLM 模型虽已显著压缩，但与当前端侧设备的DRAM容量相比，仍明显超出。 端侧toC市场对价格非常敏感，提高VRAM以支持客户端推理的方式被认为是不经济的。 下图示意，RTX 2000 一张显卡的价格接近左图PC的一半。 3. 加速推理过程： 跳过冗余计算和减少不必要的参数加载直接提高了推理速度。 3. 应用窗口技术，仅为最近的tokens加载参数。
56410编辑于 2025-02-11 - 来自专栏Go语言学习专栏
7 - AI 智能体构建 - AI 超级智能体项目教程
具体内容包括： AI 智能体概念与特点 智能体实现关键技术 使用 AI 智能体的多种方式 OpenManus 实现原理 自主实现 Manus 智能体 智能体工作流编排 A2A 协议 一、什么是智能体？ 观察（Observe）：获取工具返回的结果，反馈给智能体进行下一步决策。比如将打开的网页代码输入给 AI。 循环迭代：不断重复上述 3 个过程，直到任务完成或达到终止条件。 三、使用 AI 智能体 有 3 种方式可以使用 AI 智能体，之前的教程中其实我们已经有接触过，这里再快速复习一遍。 我们有 3 种方案来实现 ToolCallAgent： 1）基于 Spring AI 的工具调用能力，手动控制工具执行。 完成 AI 超级智能体的开发 2）理解 AI 超级智能体的实现原理和架构设计，要求能够口述讲清楚 3）尝试自主阅读 OpenManus 的源码，思考如何进一步优化我们的程序，建议多利用 AI 工具辅助学习理解
64810编辑于 2026-03-17 - 来自专栏算法一只狗
苹果AI手机发布后，端侧AI大模型前景如何？
荣耀Magic 7作为国内首款安卓AI智能体手机，相比于苹果有不一样的地方。比如可以利用AI帮助你进行“AI人脸反诈骗”检测，可以有效应对AI诈骗。 除了这两家之外，各大厂商也陆续发布自己的端侧大模型，每个厂商最大的参数量也就只有7B左右，而像小米、苹果这种发布的自家端侧大模型，仅有3B以下参数量。 端侧大模型模型参数苹果MM1/OpenELM450M/3B华为盘古|三星Gemini（非自研）1.8B/3.25B荣耀魔法7BOPPOAndesGPT7BvivoBlueLM7B小米MiLM1.3B/6.4B 2.端侧AI模型现状端侧AI模型是指将AI大模型运行于用户的终端设备上，如手机或计算机，而不是依赖云端服务器。 3.大模型的下半场：AI Agent能力自从2022年以来，ChatGPT的横空出世，大模型给人们带来了太多的震撼和惊喜。
1.2K20编辑于 2024-09-26 - 来自专栏算法之名
AI智能体(五)
接AI智能体(四) MetaGPT 环境装配 metagpt下载地址：https://github.com/geekan/MetaGPT conda create -n metagpt python= 3.5-turbo api_key: "******" 测试： 在终端命令行中进入Meta-GPT-main目录中执行 metagpt "Write a cli snake game" 单动作智能体 多动作智能体 import asyncio import sys import subprocess from metagpt.llm import LLM from metagpt.actions import - RunnableCoder: The sum of [1, 2, 3, 4, 5] is 15 The sum of [-1, 0, 1, 2, -3] is -1 编写开发需求文档 test_pm.py 3. 需求更新: 如果需求是对现有需求的更新，则更新 PRD 文档。
76000编辑于 2025-02-06 - 来自专栏算法之名
AI智能体(二)
model_name': 'glm-4', 'finish_reason': 'stop'}, id='run-b982480c-39d9-4445-8888-62a10339ef86-0')]} 状态持久化 许多AI
64010编辑于 2024-10-05 - 来自专栏人工智能
Notion AI 智能体
NotionAI智能体Notion3.0的AI智能体通过自动化流程实现复杂任务闭环。其核心能力包括智能搜索、数据分析、决策制定和执行操作。 智能体通过自然语言交互理解用户需求，自动调用数据库和外部工具完成任务。用户只需输入目标，如“分析Q3销售数据并制定优化方案”，系统即可生成可视化报告和执行建议。 零一万物万智2.5平台解析万智2.5平台采用多智能体协作架构，每个角色对应特定职能：市场智能体：自动生成营销方案并执行投放HR智能体：处理招聘全流程，包括简历筛选和面试安排财务智能体：实时监控预算并生成分析报表平台通过智能体间的通信协议实现协作 例如启动新项目时，系统自动组建包含产品、设计、开发智能体的虚拟团队，各角色通过API交换数据并同步进度。 监控系统需记录智能体的决策路径和执行效果，便于持续优化。
24010编辑于 2026-01-07 - 来自专栏算法之名
AI智能体(四)
接AI智能体(三) memory工具使用 以往，我们都是直接跟大模型进行交互，没有办法系统的实现记忆。 在上图中，用户在向大模型问问题时会首先读取记忆体，查看以往是否回答过相同的问题或者相关的文档可以参考。 如果有就会返回并添加到提示词模版中，再通过大模型的处理得到答案，得到答案之后再将答案反写回记忆体，这是一个循环的过程。 history.add_ai_message('你好，我是AI助手，有什么可以帮你的吗？') Fast As a Shark 3 2 1 F.
1K00编辑于 2025-02-06 - 来自专栏算法之名
AI智能体(六)
接AI智能体(五) Dify Dify是一个开源的Agent开发平台，使用Dify有两种方式，一种是使用Dify的在线平台。https://cloud.dify.ai。 一种是进行私有化部署。 } DEBUG: ${DEBUG:-false} FLASK_DEBUG: ${FLASK_DEBUG:-false} SECRET_KEY: ${SECRET_KEY:-sk-9f73s3ljTXVcMT3Blb3ljTqtsKiGHXVcMT3BlbkFJLK7U DEPLOY_ENV: ${DEPLOY_ENV:-PRODUCTION} CHECK_UPDATE_URL: ${CHECK_UPDATE_URL:-https://updates.dify.ai ENDPOINT: ${S3_ENDPOINT:-} S3_REGION: ${S3_REGION:-us-east-1} S3_BUCKET_NAME: ${S3_BUCKET_NAME:-difyai } S3_ACCESS_KEY: ${S3_ACCESS_KEY:-} S3_SECRET_KEY: ${S3_SECRET_KEY:-} S3_USE_AWS_MANAGED_IAM: $
1.1K00编辑于 2025-02-06 【AI智能体创作】
AI智能体创作思路 AI智能体的核心在于模拟人类思维和行为模式，通过算法和数据处理实现自主决策。创作思路通常包括目标定义、数据收集、模型训练、评估优化等环节。 目标定义阶段明确智能体的功能边界，比如聊天机器人、游戏NPC或自动化工具。数据收集阶段获取相关领域的语料、图像或其他输入数据。模型训练阶段选择合适的算法架构，如深度学习、强化学习或规则引擎。 技术选型阶段可能采用GPT-3等大语言模型作为基础架构。数据准备阶段收集高质量文本数据集，包括学术论文、新闻报道和社交媒体内容。模型微调阶段使用特定领域数据对预训练模型进行优化，使其更贴合垂直场景。 应用场景：训练超大规模语言模型（如GPT-3）或计算机视觉模型时，分布式训练可显著减少训练时间。 2. 3. 早停机制（Early Stopping） 早停机制通过监控验证集损失来防止过拟合，当验证损失连续若干轮（如patience=5）未下降时停止训练。 实现方式： 记录每轮验证集损失。
36510编辑于 2025-12-17- 来自专栏AI科技大本营的专栏
端侧智能存算一体芯片的需求、现状与挑战
近年来以数据为中心的新型计算架构 ，例如存算一体芯片技术 ，受到人们的广泛关注 ，尤其在端侧智能场景。 但是 ，基于端侧设备在资源 、时延、成本、功耗等诸多因素的考虑 ，业界对存算一体芯片提出了苛刻的要求。因此， 存算一体介质与计算范式尤为重要。 相比较而言 ，Nor Flash 在技术/ 工艺成熟度与成本方面在端侧AIoT领域具有优势，3 大公司均宣布在 2019 年末实现量产。 ? 端侧智能应用特征与存算一体芯片需求 随着 AIoT 的快速发展 ，用户对时延 、带宽 、功耗、隐私/安全性等特殊应用需求，如图3(a)所示，驱 动边缘端侧智能应用场景的爆发。 相应地，不同于云端芯片，对于端侧智能芯 片 ，其对成本 、功耗的要求最高，而对通用性、算力 、 速度的要求次之，如图(3 b)所示。
2.6K32发布于 2020-03-05 - 来自专栏Go语言学习专栏
3 - RAG 知识库基础 - AI 超级智能体项目教程
具体内容包括： AI 面试助手问答需求分析 RAG 概念（重点理解核心步骤） RAG 实战：Spring AI + 本地知识库 RAG 实战：Spring AI + 云知识库服务 友情提示：由于 AI 一、AI知识问答需求分析 AI知识问答应用场景 随着 AI 技术的快速发展，越来越多的公司开始利用 AI 重构传统业务，打造全新的用户体验和商业价值。 n-gram 切割） 2、向量转换和存储 向量转换：使用 Embedding 模型将文本块转换为高维向量表示，可以捕获到文本的语义特征 向量存储：将生成的向量和对应文本存入向量数据库，支持高效的相似性搜索 3、 ETL 的 3 大核心组件，按照顺序执行： DocumentReader：读取文档，得到文档列表 DocumentTransformer：转换文档，得到处理后的文档列表 DocumentWriter：将文档列表保存到存储中 3、向量转换和存储 为了实现方便，我们先使用 Spring AI 内置的、基于内存读写的向量数据库 SimpleVectorStore 来保存文档。
27110编辑于 2026-03-17 - 来自专栏VoiceVista语音智能
边缘侧AI和端点应用(Endpoint application)创业公司
AI性能（to accelerate the AI performance）的最优解，以跟上和满足先进的神经网络所带来的需求，在全球各地都有这种各样的创业公司如雨后春笋般(spring up around 包括网关(gateway)，集线设备(hub devices)，同时也可以包括可以加速AI应用的预置服务器(on-premis servers)。 Journey2体统4TOPS, 2W, L3/L4自动驾驶。结合其自有的感知算法(algorithms for perception)，达到超过90%的核心利用率。 端侧AI 推理设备在此场景具有非常吸引人的应用场景 - 节省了带宽，降低了延时，保护了隐私，并且节省了射频传输至云端所需的功耗。 Eta Compute - 适用于低功耗IoT，拥有两个核心，Arm Cortext -M3和DSP。
78020发布于 2020-03-04 - 来自专栏凯哥讲故事系列
凯哥 丨CES 2026：端侧 AI 的 崛起
02｜ 端侧 AI 的本质，是把“产品架构”翻过来 过去两年，我们习惯了一个默认前提： AI = 云端模型 = 调 API = 付推理费。 端侧 AI 是 CAPEX（一次性资本开销）：把一部分推理成本“摊到硬件折旧里”。 3）数据边界反转：从“数据默认出门”，变成“数据尽量不出门” 隐私、企业合规、敏感数据（合同/财务/会议/代码/客户信息）让“上云”越来越需要理由。 04｜ 产业关键矛盾：AI 让终端更聪明，也让终端更贵 这里出现一个非常“现实主义”的拧巴： 一方面，端侧 AI 需要更强的 NPU、更大的内存、更好的散热与能耗控制； 另一方面，内存供给与价格却被 AI 3）治理与合规：端侧不是“更安全”，而是“责任更清晰” 端侧减少数据出门，但也意味着： 设备丢失、越权访问、模型被篡改 本地日志与审计的缺失 所以要同步补上：设备级安全、密钥托管、访问控制、可追溯日志。
33110编辑于 2026-01-13 - 来自专栏AI技术应用
AI 智能体（AI Agent）的开发
AI 智能体（AI Agent）的开发是一个复杂且多阶段的过程，涉及需求分析、算法设计、模型训练、系统集成和部署等多个环节。以下是 AI 智能体开发的典型流程。 1.需求分析与定义1.1明确目标确定 AI 智能体的核心功能和应用场景（如聊天机器人、推荐系统、自动驾驶等）。定义智能体的输入、输出和交互方式。 3.模型设计与开发3.1选择算法根据任务需求选择合适的算法：监督学习：分类、回归。无监督学习：聚类、降维。强化学习：决策优化。深度学习：图像识别、自然语言处理。 验证 AI 智能体在实际场景中的表现。6.3用户测试邀请目标用户进行测试，收集反馈。根据反馈调整模型和系统。7.部署与监控7.1部署环境选择部署平台（如云端、边缘设备）。 总结AI 智能体的开发流程包括需求分析、数据收集、模型设计、训练与评估、系统集成、测试验证、部署监控和维护迭代。通过合理规划和使用工具，可以高效地开发出功能强大、性能优异的 AI 智能体。
2.7K20编辑于 2025-02-18 - 来自专栏AI
AI 智能体（AI Agent）的应用
AI 智能体（AI Agent）的应用非常广泛，几乎涵盖了我们生活的方方面面。它们能够自主地感知环境、做出决策并执行行动，从而完成各种复杂的任务。以下是一些 AI 智能体的典型应用场景。 3. 医疗健康：疾病诊断： 能够分析医学影像、病历等数据，辅助医生进行疾病诊断，提高诊断的准确性和效率。药物研发： 能够加速药物研发过程，例如通过模拟分子相互作用来预测药物的疗效。 娱乐：游戏 AI： 在游戏中扮演各种角色，例如敌人、队友、NPC 等，提高游戏的可玩性和挑战性。内容创作： 能够生成文本、图像、音乐等内容，例如写小说、作诗、绘画等。 百度的文心一言 APP 上的智能体： 可以进行“视频对话”、背单词、纠正口语，还可以通过 AI 智能体模拟面试、与 AI 古人对话等，体现了 AI 智能体在内容创作和人机交互方面的应用。 总而言之，AI 智能体正在深刻地改变着我们的生活和工作方式。随着技术的不断发展，AI 智能体的应用领域还将不断拓展，为我们带来更多的便利和创新。
1.5K10编辑于 2024-12-23 - 来自专栏腾讯高校合作
Wiztalk | 殷俊 Part 3《游戏AI的应用—智能体控制举例》
AI技术在游戏研发中的应用 Part 3 游戏AI的应用—智能体控制举例 简介：斗地主里托管AI是怎么打出一手好牌？QQ飞车里的对手AI又是如何漂移过弯反超夺冠？ 殷老师列举具体的实例，和大家讲讲AI算法在游戏中具体是如何运用。 内容难度：★☆☆（高中/大学及以上非计算机专业学生均可以学习） ?
42210发布于 2020-12-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号