首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏AI系统

    AI系统】谷歌 TPUv4 与光路交换

    Palomar 光路开关芯片的开发,利用 MEMS 技术,进一步降低了系统延迟和功耗,同时减少了网络成本。下面我们将重点打开相关的内容。 当然,在当前这个时间点,在美一家公司和投资人都愿意无上限地为模型花钱的时代,传统大厂在成本投入上的优势相对于新兴的 AI 公司(例如 OpenAI 和 Anthropic)越来越少,而芯片的产能甚至是电力资源这种物理上的限制反而成了目前各家迭代模型最大的瓶颈 与 Infiniband 相比,OCS 的成本更低、功耗更低、速度更快,成本不到系统成本的 5%,功率不到系统功率的 3%。 TPUv4 优缺点分析TPU v4 Pod 显示出了在成本、功耗和速度方面的优势,但是,尽管 3D Torus 拓扑结构带来了低延迟和低网络成本的益处,但也存在一些挑战,如系统成熟度、拓扑的僵硬性以及负载均衡问题 面向未来,TPU v4 的设计强调了算法与芯片之间的紧密协同,以及对新数据格式和稀疏计算的支持,这预示着 AI 计算集群的重要性日益增加。

    1.4K11编辑于 2024-11-27
  • 来自专栏三掌柜的技术空间

    系统入门 AI?弄懂这 4 件事就够了

    ,带你跳出信息碎片的误区,有条理、有逻辑地建立起对人工智能全局化的基础认知,轻松迈出系统学习 AI 的第一步。 智能金融覆盖风控、智能投顾、客户服务全链路,AI 实时分析用户消费数据,快速识别盗刷行为;智能理财系统根据用户风险偏好自动搭配资产组合。 智慧教育AI 学习工具自动批改手写作文,网课系统通过面部识别捕捉学生走神状态,推送趣味问答重新集中注意力。 Part.4 伦理规范层:划定智能技术发展边界 算法技术负责让机器变得智能,而 AI 伦理与社会研究,是约束智能系统的规则框架,既要规避技术滥用带来的负面影响,也要推动人工智能适配人类社会规则。 数字鸿沟问题:老年人、低收入群体难以熟练使用智能政务、医疗系统,加剧阶层差距;海外医院 AI 分诊系统因老年患者训练样本不足,会低估高龄人群病情严重程度。

    21010编辑于 2026-07-21
  • 转载:【AI系统】谷歌 TPUv4 与光路交换

    Palomar 光路开关芯片的开发,利用 MEMS 技术,进一步降低了系统延迟和功耗,同时减少了网络成本。下面我们将重点打开相关的内容。 当然,在当前这个时间点,在美一家公司和投资人都愿意无上限地为模型花钱的时代,传统大厂在成本投入上的优势相对于新兴的 AI 公司(例如 OpenAI 和 Anthropic)越来越少,而芯片的产能甚至是电力资源这种物理上的限制反而成了目前各家迭代模型最大的瓶颈 与 Infiniband 相比,OCS 的成本更低、功耗更低、速度更快,成本不到系统成本的 5%,功率不到系统功率的 3%。 TPUv4 优缺点分析TPU v4 Pod 显示出了在成本、功耗和速度方面的优势,但是,尽管 3D Torus 拓扑结构带来了低延迟和低网络成本的益处,但也存在一些挑战,如系统成熟度、拓扑的僵硬性以及负载均衡问题 面向未来,TPU v4 的设计强调了算法与芯片之间的紧密协同,以及对新数据格式和稀疏计算的支持,这预示着 AI 计算集群的重要性日益增加。

    91011编辑于 2024-12-11
  • 来自专栏AI系统

    AI系统AI系统架构的组成

    AI 系统组成如图所示,大致可以将 AI 系统分为以下几个具体的方向:AI 训练与推理框架AI 框架不仅仅是指如 PyTorch 等训练框架,还包括推理框架。 AI 编译与计算架构负责 AI 模型在真正运行前的编译和系统运行时的动态调度与优化。 虽然 AI 系统在总的方向上分为开发体验层、框架层、编译与运行时和硬件体系结构和 AI 芯片 4 层结构。 但是我们将在后续章节中,将会围绕核心系统软硬件,如 AI 训练和推理框架,AI 编译器,AI 芯片,部分涉及更广泛的 AI 系统生态中的重要内容如算法等展开介绍。 AI 系统生态除了以上重要的 AI 系统构成之外,随着人工智能应用越来越广泛,我们还可以看到更广泛的 AI 系统生态的构成。

    1.8K11编辑于 2024-11-26
  • 来自专栏AIoT技术交流、分享

    Python+OpenCV实现AI人脸识别身份认证系统(4)—人脸识别

    本篇博文是Python+OpenCV实现AI人脸识别身份认证系统的收官之作,在人脸识别原理到数据采集、存储和训练识别模型基础上,实现人脸识别,废话少说,上效果图: ? 案例引入 在Python+OpenCV实现AI人脸识别身份认证系统(3)——训练人脸识别模型中主要讲述神经网络模型的训练过程,使用OpenCV模块中的LBPH(LOCAL BINARY PATTERNS

    4.5K30发布于 2021-01-20
  • 转载:【AI系统AI系统架构的组成

    AI 系统组成 如图所示,大致可以将 AI 系统分为以下几个具体的方向: AI 训练与推理框架 AI 框架不仅仅是指如 PyTorch 等训练框架,还包括推理框架。 AI 编译与计算架构负责 AI 模型在真正运行前的编译和系统运行时的动态调度与优化。 虽然 AI 系统在总的方向上分为开发体验层、框架层、编译与运行时和硬件体系结构和 AI 芯片 4 层结构。 但是我们将在后续章节中,将会围绕核心系统软硬件,如 AI 训练和推理框架,AI 编译器,AI 芯片,部分涉及更广泛的 AI 系统生态中的重要内容如算法等展开介绍。 AI 系统生态 除了以上重要的 AI 系统构成之外,随着人工智能应用越来越广泛,我们还可以看到更广泛的 AI 系统生态的构成。

    2.6K10编辑于 2024-12-11
  • 来自专栏AI系统

    AI系统AI系统概述与设计目标

    AI 系统全栈架构 通过对 AI 的发展、以及模型算法、硬件与数据的趋势介绍,我们已经了解了 AI 系统的重要性。 本文将介 AI 系统的设计目标、组成和生态,让读者形成 AI 系统的知识体系,为后续展开每篇文章的内容做好铺垫。 接下来将从不同的维度和技术层面展开 AI 系统的全景图。 AI 系统概述 AI 系统基本概念 从类比的角度理解 AI 系统AI 时代连接硬件和上层应用的中间层软硬件基础设施。 AI 系统。 所介绍的 AI 全栈相关内容中则是指 AI 系统AI System),是围绕深度学习而衍生和设计的系统,因此也叫做深度学习系统(Deep Learning System)。

    85010编辑于 2024-12-02
  • 来自专栏AI生活

    AI热成像体温检测系统上线,一秒可检测4

    目前,全国各地目前开始大规模使用人体测温系统。 近日,在许多社区、园区、学校、写字楼、电梯间出现了一款AI测温通行系统,这套AI测温系统创新的采用了人体体温识别+人脸局部遮挡识别技术,使得人流密集区域能够快速识别。 自研AI算法平台和深度学习框架 这套天翼云自研的AI算法平台和深度学习框架,实现算法模型升级,能够进行人体温度信息获取、人脸是否遮挡信息获取、局部遮挡人脸识别、身份证识别等多源识别。 热成像、大数据等多种技术相结合 该系统采用了红外热成像、AI面部识别以及大数据等技术,可多途径监测人群数据,并确保数据信息的准确性。 当人员经过系统检测点时,无需停留,系统便会自动检测体温并反馈到显示屏上,测温精度达到±0.3℃。

    1.6K30发布于 2020-02-20
  • 来自专栏技术杂记

    Zabbix 监控系统搭建4

    初始化数据在 /usr/share/doc/zabbix-server-mysql-2.4.7/create/ 中

    40110编辑于 2022-02-09
  • 来自专栏AI系统

    AI系统】推理系统架构

    推理系统架构是 AI 领域中的一个关键组成部分,它负责将训练好的模型应用于实际问题,从而实现智能决策和自动化。 此外,硬件加速(如 GPU、TPU)和专用芯片(如 AI 加速器)也是提高推理效率的重要手段。部署(Deployment)训练得到的模型并不仅仅是为了学术研究,最终目的是应用于实际问题的解决。 多框架支持:兼容 TensorFlow、PyTorch、ONNX 等主流 AI 框架。模型优化:集成 TensorRT 等优化工具,进一步提升模型推理性能。 作为一个强大的推理框架,Triton 能够满足多样化的 AI 应用需求,帮助企业和开发者构建高效、可靠的推理服务。 这一功能基于其动态模型发现与加载机制,使得 AI 应用能够迅速适应市场需求变化,如模型精度提升、新功能上线等。配合版本控制和滚动更新策略,可确保服务连续性不受影响。

    2.4K10编辑于 2024-12-02
  • 来自专栏AI系统

    AI系统AI 框架作用

    本文将从深度学习的原理开始,进而深入地讨论在实现深度学习的计算过程中使用到的 AI 框架,看看 AI 框架具体的作用和目的。 反向求导深度学习一般流程是:1)构建神经网络模型,2)定义损失函数和优化器(优化目标),3)开始训练神经网络模型(计算梯度并更新网络模型中的权重参数),4)最后验证精度,其流程如下图所示,前三步最为重要 AI 框架的作用AI 框架与微分关系根据深度学习的原理,AI 框架最核心和基础的功能是自动求导(后续统一称为自动微分,AutoGrad)。 AI 框架与程序结合下面左图的公式是神经网络表示的复合函数表示,蓝色框框表示的是 AI 框架,AI 框架给开发者提供构建神经网络模型的数学操作,AI 框架把复杂的数学表达,转换成计算机可识别的计算图。 这一过程,只要你定义好网络 AI 框架都会主动地帮我们完成。

    62510编辑于 2024-12-06
  • ML-Master概览: AI4AI

    ML-Master是近期流行且开源的AI4AI智能体框架,根据其宣传,他们将探索与推理做了整合,自主解决端到端的机器学习工程问题。 主要通过一个自适应记忆机制连接了两个关键模块: 1. 平衡的多轨迹探索模块采用受蒙特卡洛树搜索启发的树形结构进行并行搜索,系统生成多样化解决方案; 2. 可引导推理模块则利用从探索中筛选出的上下文记忆来增强大语言模型的推理能力。

    13310编辑于 2026-06-01
  • 来自专栏AI系统

    AI系统】推理系统介绍

    推理系统是一个专门用于部署神经网络模型,执行推理预测任务的 AI 系统。它类似于传统的 Web 服务或移动端应用系统,但专注于 AI 模型的部署与运行。 AI 生命周期在日常生活中,深度学习的相关方法已经广泛的部署到各类的应用当中。 其中,对于关键点的检测可以通过如 Faster R-CNN、YOLO 等 AI 模型进行输入到输出的映射与转换。 根据上图示的 AI 框架、推理系统与硬件之间的关系,可以看到,除了应对应用场景的多样化需求,推理系统还需克服由不同训练框架和推理硬件所带来的部署环境多样性挑战,这些挑战不仅增加了部署优化和维护的难度,而且易于出错 需要考虑到 AI 框架的不断更新,特别是针对训练优化的迭代,而某些框架甚至不支持在线推理,系统需要具备足够的兼容性。为了支持多种框架,可以利用模型转换工具,将不同框架的模型转换为一种通用的中间表示。

    2.3K10编辑于 2024-12-02
  • 来自专栏AI系统

    AI系统AI 系统与程序代码关系

    模型算法的开发者一般会通过使用 AI 框架提供 Python 等高级语言的 API,来编写对应的 AI 算法,而 AI 算法的底层系统问题被当前层抽象隐藏。 到底在代码背后 AI 系统的每一层发生和执行了什么?有哪些有意思的系统设计问题? 本文我们将从一个具体的 PyTorch 实现一个 LeNet5 神经网络模型作为实例开始,启发读者和后面 AI 系统的每一层和各篇文章构建起桥梁与联系。 底层通过层层抽象,提升了开发效率,但是对系统研发却隐藏了众多细节,需要 AI 系统开发的工程师进一步探究。 如果没有 AI 框架、AI 编译器和算子库的支持,算法工程师进行简单的神经网络模型设计与开发都会举步维艰,所以应该看到 AI 算法本身飞速发展的同时,也要看到底层系统对提升整个算法研发的生产力起到了不可或缺的作用

    82210编辑于 2024-12-02
  • 来自专栏AI系统

    AI系统】推理系统引言

    推理的最终目标,便是将训练好的模型部署到实际的生产环境中,使 AI 真正运行起来,服务于日常生活。推理系统,是一个专门用于部署神经网络模型,执行推理预测任务的 AI 系统。 它类似于传统的 Web 服务或移动端应用系统,但专注于 AI 模型的部署与运行。推理系统会加载模型到内存,并进行版本管理,确保新版本能够顺利上线,旧版本能够安全回滚。 推理引擎,则是推理系统中的重要组成部分,它主要负责 AI 模型的加载与执行。 低比特量化是一种将模型权重和激活值从浮点数转换为低比特整数(如 8 位、4 位甚至更低)的技术。通过减少表示每个数值所需的比特数,可以显著减少模型的大小和内存占用,同时加速推理过程。 在本文中,将介绍 NC1HWC0 和 NCHW4 等不同的内存布局方式,并阐述它们对 kernel 优化的作用和意义。

    1.7K10编辑于 2024-12-02
  • 转载:【AI系统AI系统概述与设计目标

    AI 系统全栈架构 通过对 AI 的发展、以及模型算法、硬件与数据的趋势介绍,我们已经了解了 AI 系统的重要性。 本文将介 AI 系统的设计目标、组成和生态,让读者形成 AI 系统的知识体系,为后续展开每篇文章的内容做好铺垫。 接下来将从不同的维度和技术层面展开 AI 系统的全景图。 AI 系统概述 AI 系统基本概念 从类比的角度理解 AI 系统AI 时代连接硬件和上层应用的中间层软硬件基础设施。 AI 系统。 所介绍的 AI 全栈相关内容中则是指 AI 系统AI System),是围绕深度学习而衍生和设计的系统,因此也叫做深度学习系统(Deep Learning System)。

    1.2K21编辑于 2024-12-11
  • 来自专栏AI系统

    AI系统】MobileFormer

    在 FFN 中,膨胀率为 2(代替 4)。使用 post 层归一化。Former 在 Mobile→Former 和 Mobile←Former 之间处理(见上图)。

    37810编辑于 2024-12-05
  • AI质控系统

    这些痛点倒逼行业寻求智能化解决方案,而AI质控系统的出现恰逢其时,为制造业质量管控带来革命性突破。 二、核心技术架构解析现代AI质控系统采用多模态融合感知技术,整合工业相机、激光测距仪、红外热成像等设备采集的数据流。 三、实施路径规划建议企业导入AI质控系统应遵循三步走战略:首先是局部试点阶段,选择标准化程度高的单一工序进行验证,快速验证技术可行性与业务适配性;其次是横向拓展期,打通上下游工序的数据链路,形成质量闭环管控 系统落地后的核心效益量化指标参考如下:缺陷拦截率提升至99.5%以上,有效减少缺陷产品流出;单班次检测吞吐量扩大4-6倍,提升生产效率;质量事故响应时间缩短80%,快速解决质量问题;年度质量损失减少200 五、未来演进方向与创新应用延伸随着边缘计算与5G技术的普及,下一代AI质控系统将呈现三大趋势:一是轻量化部署,通过模型压缩技术实现终端设备的本地化推理,降低对云端算力的依赖;二是跨域协同能力增强,支持多工厂间的联合质量建模

    62710编辑于 2025-10-16
  • 来自专栏AI在个人领域探索

    我用4AI模型搭了一个会自我进化的系统

    大多数人和AI的交互方式是这样的:打开对话框,问一个问题,得到一个回答,关闭。下次再打开,一切从零开始。AI不记得你是谁,不记得你上次问了什么,更不会因为和你合作了100次而变得更懂你。 这让我想做一个实验:能不能让多个AI模型协作,并且让整个系统从每一次交互中学习、积累、最终进化? ClaudeSonnet4担任"架构师+复盘官"——设计架构、创意发散、每周做深度复盘。Gemini2.5Pro担任"规划师+监督官"——制定计划、监督进度、生成周报。 Tier3模型进化:当训练集积累到500条,自动生成QLoRA4-bit微调脚本,对Qwen做领域微调——系统会真正"变聪明"。 让AI不只是工具,而是一个会成长的伙伴——这个实验才刚刚开始。目的在锻炼一个更懂自己的模型同时,把大模型底层知识学习通,以此项目做了一个开始,也希望大家一起来交流。

    16710编辑于 2026-07-05
  • 来自专栏Linux驱动

    4阶段——制作根文件系统 (4)

    2)init进程的程序(也就是busybox,因为init程序位于busybox中,已经完成) (3)/etc/inittab(用于init进程读取配置, 然后执行inittab里的指定应用程序) (4)   id可以写成/dev/xx或xx 表示action= askfirst(每次启动/bin/sh进程之前等待用户按下enter键),然后指定/bin/sh的终端对应/dev/console字符设备 4. 文件系统制作成mini_fs.yaffs2映像文件系统 6.将制作好的mini_fs.yaffs2通过DNW下载到板子上,进行试验 串口输出如下图,发现无法打开控制台: ? 接下来开始完善根文件系统。 ,tmpfs类型,需要挂载到/dev目录下 devpts是内核虚拟系统, 管理员通过文件系统和内核进行沟通(读\写)的一种渠道, devpts类型,需要挂载到/dev/pts目录下 8.1 创建sysfs

    3.1K100发布于 2018-01-03
领券