人工智能(AI)项目的“落地”问题,现在谈论的比较多,我也来凑个热闹,不过,我不是从宏观角度来讲,而是从具体实施过程讲讲个人体会。 首先,AI 工程师要有能力且勇敢地将项目真实情况讲出来。 如果项目管理者对某个 AI 技术的细节不很了解,而是凭借浅显的认知决定要在项目中使用,那么,AI 工程师是不是能够协助项目管理者做深入的可行性研究呢? AI 工程师要有能力进行评估 这对多数 AI 工程师来讲,是一个挑战。因为评估一个项目是否可以使用某项 AI 技术,不仅仅是技术本身,还要考虑项目的其他问题,比如成本、运营、人员、时间等等。 AI 工程师要勇敢地讲出实情 毋庸置疑,宣传中的某项 AI 技术以及它能够给项目带来的好处,和实际情况肯定是有差异的,甚至有时候差异会很大。 这样的 AI 工程师,也要么是“真糊涂”,要么是“揣着明白装糊涂”。一般项目皆败于此。 当科学、客观地对项目和技术进行评估之后,一定能够找到 AI 技术的切入点,此后的落地,必然一帆风顺。
AI这两年里可谓是非常的热门,从深度学习到自然语言翻译到自动车,一个接一个的层出不穷。不仅仅赚了吆喝,也赚足了资本。和AI相关的人才争夺,更是让人叹为观止。 一个但凡和AI有点关系的博士毕业,其工资让我这个工作那么多年的人都羡慕嫉妒恨。 作为AI的杀手级应用自动车驾驶,更是这些年各大公司和初创公司追逐的重点。无数的资本涌入。 比如说AI的大牛奠基人之一的迈克乔丹,在到处演讲告诉大家不要把现在的AI当回事,其实真没那么牛。 在美国,很多大公司都源于加州。 所以如果自动车和人工智能最为强悍的谷歌都做不到成功落地服务大众的话,我们为什么相信现阶段自动车是AI如此重要的一个应用呢? 如果连自动驾驶都解决不了,我们又凭什么相信这个上天的AI真的是有极大价值的,而不是空话呢?我其实真的没什么信心。所以做AI的同学们,好好享受你们的美好时光,一切都是假的,只有钱才是真的。
当落地 K8s 集群之后,因为应用容器的 IP 生命周期短暂,通过 App 名字来识别服务其实对运维和开发都会更方便。所以本篇就是结合实际的需求场景给大家详细介绍 DNS 的使用实践。 kube-system stable/coredns 查看 coredns 的 Pod,确认所有 Pod 都处于 Running 状态: kubectl get pods -n kube-system -l k8s-app 0 5m coredns-699477c54d-vvqj9 1/1 Running 0 5m coredns-699477c54d-xcv8h github.com/coredns/deployment/blob/master/kubernetes/Scaling_CoreDNS.md https://kuboard.cn/learning/k8s-intermediate
xgboost模型java落地 1. return outputs # 示例用法 model_path = 'xgb_model.onnx' input_data = np.random.randint(1, 10,size = (2, 8) ) # 假设输入形状为 (2, 8) print(input_data) output = load_and_run_onnx_model(model_path, input_data) print (output) 6. java推理 import ai.onnxruntime.*; // Load the model and create InferenceSession String modelPath ; feature = {1, 2, 3, 4, 5, 6, 7, 8}; Object tensorIn = OrtUtil.reshape(feature, new long[] {1, 8});
复盘成了我的日常 我最近在思考AI创新产品应该如何切入,接下来谈一些见解: AI技术不仅仅是算法,更多的是工程, ML Code仅仅只是占了核心的一个小空间。 ? 产品化的过程其实是: 挑选一个单点的AI技术,深挖其应用场景, 然后再组合其他技术,形成新技术。 2 基于人像分割技术的图像编辑工具 案例 facet.ai,非常方便地替换背景,带来便捷的图像编辑体验。 ? Auto mask 自动打马赛克,应用虽然小,但是足够方便。 ?
引言:当AI成为生产系统的核心组件,安全已不再是‘可选项’ 2024年,全球超68%的金融与医疗类AI应用已在生产环境部署大模型推理服务(Gartner《AI Governance Report》)。 本文基于啄木鸟软件测试团队在某头部银行智能风控大模型、某三甲医院AI影像辅助诊断系统的32个真实交付项目经验,提炼出可复用、可度量、可审计的AI安全测试落地四步法。 一、明确AI系统安全边界:从‘黑盒API’到‘三层攻击面’建模 很多测试工程师仍习惯将AI服务视为普通微服务——只测输入/输出一致性。 二、构建轻量级AI安全测试工具链:不依赖GPU,也能跑通核心用例 团队常误以为AI安全测试必须自建红队实验室。 结语:安全不是AI的附属品,而是其可信基石 AI安全测试的本质,不是给模型‘找茬’,而是帮业务建立‘可控的信任’。
之前写了一篇:LangChain创始人回应为啥不做托拉拽的智能体工作流 正好今天看到零一万物的一篇讲AI工程落地的文章,观点很相似。
去年还有人问企业要不要拥抱AI,今年已经没人问了。问题变成了:怎么落地?谁来干? 很多企业的第一反应是招人——找一个既懂技术又懂业务的AI落地专家。 AI落地不要一上来就搞大项目。先找那些高频重复、耗时、易出错的工作,这类任务最适合用AI解决,见效快、阻力小。 设计原则:能一个按钮解决的,就不要操作两次。 用AI做小工具,成本低、见效快,还能让团队感受到AI的实际价值。 如果要外招,怎么甄别? 有些业务确实需要比较丰富的技术基础,需要外招AI落地负责人。但市场鱼龙混杂,如何甄别? 1. 有没有跨部门落地经验? 给自己提效只是初级。能给财务、客服、运营、人事等不同部门都落地过,才证明此人有快速理解业务的能力。AI落地的难点不在技术,在业务逻辑的解构。 3. 有没有总结复盘的习惯? AI落地需要跟各部门打交道——需求沟通、方案讲解、问题排查,都需要清晰逻辑。面试时如果对方表达混乱,落地时大概率也一团糟。 5. 使用AI的时长和频率 越早用、用得越频繁越好。
作者 | Michelle 报道 | towardsdatascience 人工智能(AI)和机器学习(ML)现在都是热门话题,这是理所当然的,因为它们对重新定义商业的许多方面做出了重大贡献。 您如何看待它随着AI & ML技术的发展? 目前的客户体验“AI无处不在,但结果大相径庭”。使用同一项服务的两个客户可能对他们的体验有完全不同的印象,而且在很多情况下,这项服务是笨拙的,结构也很糟糕。 试图整合AI & ML技术和客户体验的企业面临哪些挑战? Paul总结了许多企业在流程中采用AI和ML时面临的另一个常见挑战——数据量。他说:“目前的机器学习技术依赖于相对大量的数据来提供良好的预测。”
定义一套算法接口,YOLOv5、YOLOv8等不同模型都实现这个接口。界面只调用接口,不关心具体实现。换模型只需要改配置,界面代码几乎不用动。 二、OpenCV算法落地:不能照搬PC代码PC上OpenCV怎么方便怎么来,到了嵌入式平台就得精打细算。图像预处理这条链,在PC上可能几毫秒,在嵌入式上就是几十毫秒。 三、嵌入式平台适配:每块板子有自己的脾气RK3588和Jetson Orin是当前主流的嵌入式AI平台,但开发体验差异不小。交叉编译环境搭建就是个开端,库依赖容易出问题。 同样一个YOLOv8模型,在Jetson上用TensorRT跑,在RK3588上用RKNN跑,代码路径不一样,优化技巧也不一样。需要查阅硬件手册,了解NPU、CPU、GPU如何协同工作。 高培觉得嵌入式AI开发需要的不是单点技术,而是全局视角:QT界面、OpenCV算法、模型部署、多线程优化、硬件加速、系统稳定性,缺一不可。
我们希望我们提供的经验教训、最佳实践和技巧将帮助您在前往K8s旅途中起步并继续前进。 下面我们将回顾落地过程中的主要挑战(6大挑战),同时分享我们的最佳实践、技巧,和在将您的容器应用程序一路带到生产环境中所获得的经验教训。 将应用程序部署到K8S生产环境中 在K8S顺利开始旅程的10个技巧 1. 对于初学者,我们建议从阅读Kubernetes的艰难方式开始! 在进入K8S之前准备好你的应用程序。 为使应用程序在k8s中运行,设置一个最小的目标。 5. 使用托管的k8S来解放您的工作,例如:AKS、ESK或GKE,它们为您抽象了许多复杂性。 6. 每个Pod有一个主容器。 7.
下图是一个企业Agent落地的标准架构。 在Query动线上,包括规则模块、意图识别模块、意图处理模块、过滤引擎、推理执行、总结整理。 企业中落地Agent普遍的难点不是模型不够智能(因为大概率用的模型就那几家)。 难点是围绕模型的脚手架不到位,比如上下文工程、安全性、记忆系统等。 而且Agent架构越成熟,软件工程的重要性越高。 有人给我发了一篇脉脉上的有人吐槽自家AI落地的文章,相信也是遇到了同样的问题。 大多数AI Agent系统,打造的无非是上下文选择系统。
一、实战痛点直击:2025 AI Coding的4大落地困局 (一)困局可视化:核心痛点思维导图 (二)痛点深析:每一个坑都踩在落地关键处 在DSM模块开发初期,我们几乎踩遍了以上所有坑。 二、破局实战:8步实施法的落地拆解(附DSM模块案例) (一)先理清架构:8步实施法的分层逻辑图 (二)再看流程:8步实施法的流程拆解图 (三)逐步拆解:每一步都对应解决一个核心痛点 8步实施法的核心不是 8步实施法用工程化的思路,把模糊的需求转化为明确的规则,让AI的能力能稳定落地,这是它最核心的价值。 2025年的AI Coding,早已过了“盲目追捧技术”的阶段,行业共识正在回归“务实落地”。 对于大多数企业而言,与其追逐最新的AI模型,不如先搭建适配AI的工程体系。8步实施法或许不是最终答案,但它提供了一条从“踩坑”到“落地”的务实路径。
Fig-1 AI/ML 处理数据量越来越多,一说数据每年增长430x。 IGB 在 AI 领域受到关注,尤其是在图学习和图计算的研究中,因其能够帮助研究者比较不同算法的效果和效率。该数据集的多样性和真实场景的代表性使其成为图相关任务的一个重要基准。 Fig-8 使用DeepSpeed ZeRO进行大型语言模型推理。 和不少AI从业人员交流,共性认知是,尚未出现 Killer APP,部分原因是技术本身成熟度尚未达标,另一部分可能还是基础设施建设成本高昂,“贫穷限制了想象”。 基于NVMe SSD来替代内存方案,相较于HBM大主存训练场景,可能是推理场景落地降本的有效措施,可参考材料中介绍的两个项目BaM 和 DeepSpeed来设计真实应用场景的落地方案。
你们AI增长如何?有新场景落地吗? 最近见面寒暄最多的主题还是AI,只是与以往不同的是,很多朋友眼中没有了兴奋与激情,却多了一份犹豫。 是的,已经很少有人谈论大模型幻觉,按说AI的能力已经得到了相当的认可,为什么好像听到的落地案例没有很多呢。 AI落地难,因为AI不能只是一个玩具,我还会这样回复。 剩下的3和5,也就是无摩擦和分级授权,则是我们今天讨论的主题,企业内AI落地的两大挑战。 二、权限 当我们看到AI的能力是,我们重点关注的是AI能做什么,但在落地时,AI能做什么,跟使用AI的人能做什么之间还有一个关系,那就是权限。 关于企业内AI落地的更多内容 本期重要产品更新 1.
企业AI落地的痛点与破局利器在AI技术爆发的时代,企业面临三大挑战:数据安全顾虑、技术门槛过高、业务整合困难。 n8n:智能流程自动化中枢核心价值:开源可控、私有化部署、模块化扩展,让企业以最小成本实现AI能力闭环。 Dify:AI应用开发的“流水线工厂”核心定位:拖拽式构建AI工作流,覆盖对话机器人、数据分析、知识问答等场景。 落地方案场景1:智能客服系统效果:响应速度提升40%,人力成本降低60%。 避坑提示:❌ 避免用Dify解析200页PDF(改用RAGFlow预处理)❌ 避免用n8n直接构建问答引擎(需集成Dify生成节点)结语:开源生态驱动AI民主化企业AI落地不再依赖“黑盒”商业平台,开源五剑客已覆盖
先挖一挖AI落地的问题目前在AI智能化转型的几个核心问题1)信息化和数字化基础薄弱,数据都不对,别指望来了AI就万事大吉2)价值量化不清,无法真实体现AI的价值,自然项目也就变得可有可无。 AI落地这些问题都会一一碰到。 2)企业不是儿戏,企业是需要盈利的,AI也不应该是头脑发热跟风式的上线,通过对AI潜在价值的明确量化,其实也是梳理企业业务,探索转型机会的一个非常好的契机。 3)如果说AI需要新的组织结构,那么我认为最重要的岗位可能是CKO(首席知识官),知识是企业级AI应用落地的基础,没有之一。 技术是持续迭代更新的,大多数企业的技术能力并不能匹配上这个更新速度,所以技术本身反而是AI落地最小的障碍。问题很多,饭要一口口吃,以下是建议的路径:
近些年来,在深度学习算法已经足够卷卷卷之后,深度学习的另一个偏向于工程的方向--部署工业落地,才开始被谈论的多了起来。当然这也是大势所趋,毕竟AI算法那么多,如果用不着,只在学术圈搞研究的话没有意义。 AI部署工业落地这块似乎还没有那么卷...相比AI算法来说,AI部署的入坑机会更多些。 [你懂得] 当然,AI落地部署和神经网络深度学习的关系是分不开的,就算你是AI算法工程师,也是有必要学习这块知识的。并不是所有人都是纯正的AI算法研究员。 还是蛮有搞头的,这个方向与落地部署关系密切,最终的目的都是提升模型速度的同时不降低模型的精度。 而TensorRT8版本以下的不支持直接载入,需要手动去赋值MAX阈值。
1 AI的人才需求 2018,庞大的毕业生涌入社会。每一个人都在为工作彷徨。 ? 数据显示,我国人工智能相关人才缺口超过500万,“坑多萝卜少”的现状让企业让校园人才争夺战显得尤为激烈。 ? “百度全面押注AI,先天的技术属性和先人一步的AI布局将引领百度走向成功” ? AI相关人才,正在被企业疯抢。市场需求大,薪酬高,因此对广大技术从业者来说,目前是进入人工智能行业的好时机。 ? 2 AI的广泛应用 在医学领域,达芬奇手术机器人正在引进各大医院。手术更精准、更精细,切口更小,痛苦更小的优势让手术进入微创新时代。 ? 我们通常认为,AI并不能胜任需要丰富经验的工作,处理繁冗负责的任务。 但实际情况是,在数字智能、计算能力、带宽水平及访问路径等技术革新下,AI已经在法律、金融、医学等工作领域逐渐正式“上岗”。 正因如此,面对AI的发展,中外科学家才会发出警告:人工智能将代替现在60%的工作。 ? 机器人变得和人类一样灵活 过去的200年是知识的时代,是科技的时代。
作者 | 刘东阳 策划 | 赵钰莹 一、背景 vivo 人工智能计算平台小组从 2018 年底开始建设 AI 计算平台至今,已经在 k8s 集群、以及离线的深度学习模型训练等方面,积累了众多宝贵的开发 本文是 vivo AI 计算平台技术演进系列文章之一,着重分享了计算平台的底座 - AI 容器平台(VContainer)的在线业务容器化落地过程中所遇到的问题及解决的思路,vivo AI 计算平台相关的技术实践可参考此前发布的 《vivo AI 计算平台的 K8s 填坑指南》。 三、功能模块概览 在线业务容器化落地所涉及到的功能模块分两部分:公司云平台 和 AI 容器平台。云平台是用户入口,AI 容器平台则是容器化部署的基础环境: ? 七、总结展望 由于容器化部署的众多优点,越来越多的公司选择将业务迁移到容器平台之上,vivo AI 容器平台也开始了在线业务容器化落地的实践,相对于离线业务,在线业务对平台的稳定性和资源调度管理有更严格的要求