当我们惊叹于ChatGPT的对话能力或Midjourney的创造力时,我们看到的是AI模型的“华丽殿堂”。然而,支撑这座殿堂巍然屹立的,是深埋于地下的、坚固的“地基”——这便是AI基础设施与运维。 3. 云原生与混合云精通公有云上的AI服务,并能设计混合云或跨云架构,以实现数据主权、成本优化和灾难恢复。 3. 模型生命周期管理模型注册中心: 集中管理模型的版本、元数据和生命周期状态。 三、 数据与特征工程基础设施“垃圾进,垃圾出”在规模化AI中会被无限放大。这一层确保流入模型的是高质量、一致的“燃料”。1. 特征平台这是工程化与科研的核心分水岭。 构建这套基石能力,不仅需要技术广度,更需要将软件工程、数据工程和运维文化的精髓,深度融合到AI的每一个生命周期之中。这,正是AI工程化的终极奥义。
大家好,我是人月聊IT,今天接着聊AI和大模型方面的话题。 我把它叫做 AI 工程化。因为前面我聊了很多关于 AI 的话题,都是在讲 AI 怎么样辅助编程,这个本质是面向开发人员的。 但是今天我想提一个重要观点,就是到了 AI 时代每个人都应该去考虑 AI 工程化这个话题,或者叫 AI 工程化不太准确,应该叫工程化 AI,就是怎么样将你个人的工作 AI 化。 类似AI辅助,很多人都在用,但是个人精力并没有被完全解放出来,你还是不断地在跟 AI 对话,去跟 AI 调优,或者是不断地去让 AI 修订完善你的内容,你的整个时间精力并没有完全解脱出来。 包括我前面讲到的怎么样从 AI 智能体变到代理型 AI 这么一个关键的变化,实际上你没有去思考这个问题。 包括现在大部分的企业其实都在推 AI,我们叫做全员推 AI。 高层的管理者管理团队其实对这个事情他是不清楚的,他怎么可能出一个大一统的 AI 工具给所有人用呢? 所以基于这个思路,我们再展开来谈。当我们再谈 AI 工程化的时候,有几个关键点。
AI工程化项目介绍与适合人群一、什么是AI工程化?AI工程化是指将AI模型从实验原型转化为生产级系统的一系列工程实践,涵盖整个AI应用生命周期。 核心范畴┌─────────────────────────────────────────────────┐│ AI工程化全景图 + 规则引擎 + 人工复核3. 工程工具链半年一更新五、学习路线图阶段一:基础工程化(2-3个月)# 实践项目:模型API服务1. 添加prometheus指标 + Grafana看板阶段二:全链路工程化(3-4个月)项目: 新闻推荐系统- 特征存储: Redis/Feast- 模型版本: MLflow + DVC- 在线推理: BentoML
本篇里,我会具体到代码层面,谈谈如何在一个工程化的项目中利用github.com/pkg/errors包,完整实现一套的错误处理机制。 bookName string) error { // 下面两个 error 都是不带堆栈信息的,所以初次调用得用Wrap方法 // 如果已有堆栈信息,应调用WithMessage方法 // 3 3.
每日AI知识点 · 第11期 ⚙️ AI 工程化实践 从 Demo 到生产系统的关键一跳 可靠性 ️ 可观测性 ️ 安全性 可扩展性 可维护性 ⚙️ 为什么需要 AI 工程化? 但一到大促流量高峰,AI API 偶尔超时,系统没有降级处理,导致整个客服页面白屏。工程化的目标就是让这类问题不再发生。 三种状态:关闭(正常)→ 打开(熔断中)→ 半开(试探恢复) 3 超时控制(Timeout) AI 模型响应时间不稳定,必须设置合理超时(通常 10-30s)。 错误处理:所有 AI API 调用有重试 + 超时 + 降级 ☐ 2. 日志记录:完整记录输入输出,做好 PII 脱敏 ☐ 3. 监控告警:成功率、延迟、费用指标都有告警 ☐ 4.
前言 Vue 3 正式版已经发布有一段时间了,随着 Vite 脚手架注定成为下一代前端工具链,许多用户都想基于 Vite 来构建 Vue 项目,如果想基于 Vite 构建 Vue 3 项目,社区模板完全满足您的需求 ,如果想构建 Vite 3 + Vue 3 + JavaScript 项目,那社区模板不太能满足您的需求,因为社区模板提供 Vue 3 项目几乎是基于 Vite 2 + TypeScript 构建,对于不熟悉 TypeScript 语言的用户不是很友好,因此接下来从 0 开始手把手带大家搭建一套规范的 Vite 3 + Vue 3 + JavaScript 前端工程化项目环境。 ElanYoung.github.io/vite-vue-js…[66] 即可访问本项目 文章总结 本文从技术选项到架构搭建、从代码规范约束到提交信息规范约束,一步一步带领大家如何从一个最简单的前端项目骨架到规范的前端工程化环境 ,基本涵盖前端项目开发的整个流程,特别适合刚接触前端工程化的同学学习。
本文整理自「AI不是玄学」技术专栏内容,面向正在把AIAgent接入真实业务系统的开发者。重点不放在概念热度,而放在工程落地时必须回答的三个问题:任务怎么执行、过程怎么观测、失败怎么接管。 这是一条更工程化的分界线。早期AgentDemo往往只要展示出工具调用、联网搜索、代码生成,就能说明能力存在。但进入生产环境后,团队真正关心的是另一组问题:Agent为什么选择这个工具? 记录被调用的工具input_schema保存结构化入参output_summary保存工具返回摘要status标识运行、成功、失败、等待确认operator_action记录人工确认或驳回这也是Agent工程化的第一步 校验通过率失败恢复能力注入API超时、权限拒绝、空结果人工接管质量看接管页面是否包含足够上下文可回放能力不重新执行任务,也能还原决策过程如果一个Agent只能在顺风场景里跑通,不能解释失败,它就还没有进入工程化阶段 错误权限边界工具访问经过代理或白名单失败处理至少区分参数错误、权限错误、工具错误人工接管高风险动作可暂停、确认、驳回任务回放不重新执行也能复盘过程评估集有真实任务样本和失败样本文档输入OCR/解析结果保留来源和置信度Agent工程化不是给模型多接几个工具
为什么说我们现在的AI不是超级AI 从事AI开发的人都知道,现在的AI还没有自主学习的能力。算法都是工程师设定好的,AI只是在执行一种程序。与其说是AI在学习,不如说是算法工程师在学习更合适。 因此,实际上目前的AI并不是影视文学作品中的那种超级AI,也不是很多人心中神话了的AI。目前不是,甚至20年、30年之后也差得很远。 那么目前的AI究竟是个什么状态,短期的发展会如何? 3) 对于现阶段的硬件芯片和软件驱动来说,算法可以高效运行。 比如一些深度算法,4k超分辨率叠加HDR、超帧率等,在服务器硬件加速下,性能满足需要。即使不能实时运行,也不至于等待太长时间,这是可行的。 考虑到功耗的因素,算法和工程的优化还需要做一个2-3倍的改善。 但实际上无论从算法上还是工程实现上,优化的空间还是非常巨大的。我相信再过一段时间,出现20-30倍的效率提升是很正常的事情。 这意味着3G主频的CPU,单线程ME性能达到了1000FPS左右。
上次分享了Vue工程化之后的相册代码,今天整理文件的时候发现了之前写的没有工程化的,为了方便大家搬运代码,在这里分享一下,需要的小伙伴可复制粘贴: html部分: <! IE=edge" /> <meta name="viewport" content="width=device-width, initial-scale=1.0" /> <title>3D %2F%2Fwww.zhwin.com%2Fd%2Ffile%2F2018-12-26%2Fd1c2c3e8a97754402dd95f4701a2f854.jpg&refer=http%3A%2F%2Fwww.zhwin.com &refer=http%3A%2F%2Fimg.mp.itc.cn&app=2002&size=f9999,10000&q=a80&n=0&g=0n&fmt=auto? %2F%2Fwx3.sinaimg.cn%2Fmw690%2F737e214fgy1h2btpttqxtj20u00u0jxi.jpg&refer=http%3A%2F%2Fwx3.sinaimg.cn
Element3组件库工程化实战 随着对前端功能和性能的不断提高,前端早就不是一段内嵌于页面的一段JS代码了。已经进化为一个系统复杂的工程了。 下面我就结合element3组件库的搭建经验。 https://github.com/hug-sun/mini-element 一、前端工程化是什么 前端工程化概述 https://juejin.im/post/6844904073817227277 前端工程化大体可以分为四个方面内容。 chrome: true, __DEV__: true }, extends: [ 'plugin:json/recommended', 'plugin:vue/vue3- 比如element3项目中的。https://element3-ui.com/ ? 其实可以用StoryBook。 这个我们后面写专题更新。大家保持关注。
单日涨 3% 不算啥,关键是看月线、年线的趋势。 第三个支柱:持续监控,而不是一次放行 当你终于接受了线上才是真实测试环境这个现实之后,持续监控就不再是可选项,而变成了必选项。 AI 可以处理逻辑,但很难理解人情世故。就像 AI 能下围棋,但很难判断一句话是真心还是讽刺。 人是最后一道保险 在成熟的 AI 测试体系中,通常会保留这些人工干预环节。 从用 AI 做测试,到测试 AI 本身 有趣的是,在这个 AI 测试的世界里,AI 不只是那个被咱们审问的对象,同时也正在悄悄成为咱们的测试伙伴。就像武侠小说里师徒二人互相切磋,互相提升。 用 AI 生成测试输入 相比人工绞尽脑汁写用例,AI 在生成测试输入方面简直是天赋异禀。 罗马不是一天建成的,AI 测试体系也不可能一蹴而就。 小结 AI 测试的工程化落地,可不是简单地换几套工具或者学几个新框架这么轻松的事儿。它是一场彻头彻尾的思维革命和工程实践的全面升级。
一、AI Agent 培训流程的工程化落地逻辑从各行业落地实践来看,AI Agent 的核心价值是解决动态、复杂的业务问题,但不少团队因缺乏系统化工程流程,导致 Agent 在真实场景中表现不稳定。 AI Agent 培训流程本质上是一套从需求到落地的闭环工程体系,需围绕业务约束、能力构建、迭代优化三个核心环节展开:1. 任务边界与环境约束的精准定义这是工程化的起点,绝非 “拍脑袋” 的目标设定。 3. 这种分化是基于工程化落地的需求,而非概念炒作,将推动 AI Agent 领域的专业化发展。 从工程视角看,当前的重点是完善 AI Agent 培训流程的工程化标准,提升 Agent 的可靠性与适配性;从职业发展看,AI Agent 职业路线将成为技术从业者的重要方向之一,其核心竞争力是解决复杂问题的综合工程素养
除了Vue 3这个库,还需Vue 3 最新全家桶。 1 环境准备 之前语法演示直接使用script引入Vue 3,从而在浏览器里实现所有调试功能。但实际项目中,使用专门调试工具。 在项目上线之前,代码也需打包压缩,并考虑到研发效率和代码可维护性,所以在下面,需建立一个工程化项目实现这些功能。 工具 VS Code写Vue 3的代码 直接在Chrome浏览器里展示 Vue 2官方推荐Vue-cli创建项目 Vue 3建议使用Vite创建项目,因为vite能够提供更好更快的调试体验。 从下往上看这个架构: 所有工程化体系都是基于Node.js生态 VS Code+Volar编辑器+语法提示工具作为上层开发工具 使用Vite作为工程化工具 使用Chrome进行调试 都是Vue 3工程化体系的必备工具 4 总结 环境准备阶段,我们基于Vite 2和Vue 3搭建了我们项目的初始化框架,包含文件规范、工程化、路由和开发的基础配置,后面我们所有的代码都会在这个架构基础之上进行添加。
: true # 开启Spring AI缓存抽象3. 未命中则调用AI模型String response = chatClient.call(question);// 3. 初始化RedisConnection时选择DB}3. redisTemplate.opsForValue().set(key,value,Duration.ofHours(24 + ThreadLocalRandom.current().nextInt(-3, 3)));四、性能对比测试使用JMeter模拟100并发请求:方案平均响应时间API调用次数无缓存3200ms100基础内存缓存50ms15Redis+语义缓存45ms8测试结论:Redis缓存使高频重复请求响应速度提升
背 景 OpenAI 在 3 月 15 日发布了备受瞩目的 GPT4,它在司法考试和程序编程领域的惊人表现让大家对大语言模型的热情达到了顶点。 arena submit pytorchjob\ --gpus=1\ --image ai-studio-registry.cn-beijing.cr.aliyuncs.com/kube-ai/ model.layers.0.input_layernorm.bias.bin - model.layers.0.attention.query_key_value.bias...: shape (3, TRAINER DURATION GPU(Requested) GPU(Allocated) NODE convert-bloom SUCCEEDED PYTORCHJOB 3m ) result = tokenizer.batch_decode(output0_data[0]) print(result) 发起 client 请求命令如下: $python3
当下的 AI 应用浪潮中,一个显著的趋势正从单纯“接入大模型 API”向“构建复杂智能体系统(AI Agent Systems)”演进。 它的使命,用一句话概括就是: ❝让大语言模型(LLM)能力以“组件化 + 工程化”的方式融入 Go 生态,帮助开发者快速构建稳定可维护的 AI Agent 系统。 然而,它们更常用于原型设计阶段,生产落地仍需额外工程化工作。而在 Go 生态中,这样的工具几乎是一片空白。 Eino 的诞生正是为了填补这块空白。 Eino 在此提供了三个关键组件: Embedding:将文本向量化,支持多种模型(如 OpenAI Embeddings、bge-large、m3e-base 等); Indexer:负责存储与管理向量索引 事件系统让整个智能体运行过程变得透明、可追踪,这是 Eino 面向工程化落地的重要支撑。
使用工具替代人工操作能够避免人为失误引起的低级错误,同时结合整体前端工程化方案,快速生成功能模块配置、自动安装依赖等,降低了时间成本。 2.2.2 局限于本地的执行环境 前端工程化的3个阶段:本地工具链、云管理平台和持续集成。三者最明显的外在差异在于,对各个功能模块执行环境的划分。 不论前端工程化是简单的本地工具链,还是集大成的持续集成阶段,脚手架的执行环境始终局限于本地,这给脚手架工具带来一个必须解决的问题:操作系统兼容性。 SASS预编译语法编写的CSS代码; 3)Jade/EJS/Mustache等模块语法编写的HTML代码。 3.4.2 模块化与工程化 模块化是属于架构层面的概念,前端工程化与模块化的关系类似于组装车间与零件。
从叠加态到坍缩——叙事状态机的量子工程实践1.为什么AI小说需要量子理论AI写作面临一个根本矛盾:生成式模型没有"停顿"概念。对白对轰一路狂飙,情绪和动作像倒垃圾一样全倒出来。 工程化落地到AI小说创作引擎的完整方案。所有代码示例来自一个实际运行的叙事引擎。2.核心架构:量子状态机系统的核心是一个量子状态机。 3.叠加态:情绪的量子化描述3.1暗物质池:无名情绪的累积角色经历了一段冲突密集的场景,但没有爆发。 需要连续3个场景的验证期才能重建。6.跨章量子残留:状态不随章节清零这是整个系统最关键的设计之一。普通AI写作每章独立,上一章主角有没有释放情绪,完全被遗忘。 工程化量子状态机不是模拟量子物理,是承认叙事本身的量子属性。(本文是作者原创,基于Workbuddy开发,AI辅助排版和负责整理观点梳理叙事逻辑)
在Java生态的AI应用开发中,多环节AI能力的串联始终是落地过程中的核心痛点。 而思维链相关能力的出现,本质是通过工程化工具解决这类流程串联的问题,以行业中常见的整合框架为例,其价值在于让AI流程的搭建、调整、管理更高效可控。可视化AI工作流编排是降低流程搭建门槛的核心功能。 这种“分步验证”的方式大幅缩短了排障时间,让开发者能在流程上线前提前解决潜在问题,提升了AI服务的稳定性。 从本质上看,这些思维链能力并非引入新的AI技术,而是通过工程化工具将分散的AI能力转化为可灵活编排、管理的流程模块。 这种方式让多环节AI应用的开发更贴合企业的实际需求,也让AI技术能够更高效地融入现有Java业务系统中。
其实,Java做AI的关键,是用工程化思维构建“可用级别”系统,而非后期被动优化——这才是企业级AI应用落地的核心逻辑。 这些问题的根源,是缺乏工程化的系统设计——AI应用的核心价值,在于稳定服务业务,而非单纯“能用”。二、Java做AI的工程化核心:三大关键维度1. 3. 四、核心结论Java做人工智能,本质是用Java的工程化优势赋能AI落地:1.接入大模型只是第一步,工程化才是“可用级别”应用的核心;2.统一接入、高并发支撑、全生命周期管控,是工程化的三大关键;3.借助 AI应用的价值不在于“能调用模型”,而在于“稳定服务业务”。Java团队唯有以工程化思维先行,才能构建出高效、可控、可持续的企业级AI应用,让AI真正成为企业的战略资产。