AI Agent的出现,正在从根本上改变数据工程师的工作方式,甚至重新定义这个职业的边界。 从堆人到提效 提到AI Agent,很多人的第一反应是又一个大模型概念。 这些事情以前要靠专人花时间梳理,现在AI可以快速完成。 但这只是第一步。 更深层的变化在于,数据工程的需求本身正在被AI重塑。 业务方不仅看Dashboard,还想直接跟数据对话——问AI一个问题,AI直接给出答案。这就倒逼着数据工程师必须把底层的东西做得更扎实:元数据要完整、语义层要清晰、数据血缘要可追溯。 好的数据工程,应该配合AI在事中就做好管理和体系搭建。” 这句话背后是一个残酷的现实:以前数据工程师的工作更像是管道工——把数据从A搬到B,分层、清洗、汇总。 结语 数据工程遇上AI Agent,不是一场突如其来的革命,而是水到渠成的演进。 那些还在用老办法堆人的团队,也许该停下来想一想:未来的数据工程师,需要具备什么样的新能力?
Stock题材助手 AI实践情况1.1. AI编程环境CodeBuddyGemini-3.0-Flash1.2. 图形重绘抖动隐性常识显式化,写入Spec专业图形图像bug* 图形:词频分析图文字覆盖界面原型图【规则化】,写入SpecUI控件/表单bug* 日期设置不能超过今日,规则没生效无需Spec增强规则已在Spec 由单元测试驱动AI 改Bug专业图形图像bug* 操作:滚轮误触发点击逻辑 * 操作:用户标记有时不响应无需Spec增强规则已在Spec 由单元测试驱动AI改Bug数据持久化bug* graph文件保存数据没有排序排序后才能保存 从人脑翻译到机器直译的思维转变传统需求:面向程序员的文档,没错就好,信息不够程序员会【脑补】AI提示词:面向AI的机器指令,要求精确、无歧义例:GUI-RULE-ANALYSE-006明确要求用matplotlib 业务规则的原子化爆炸传统需求:业务规则分散在功能描述中,隐含在逻辑流程里AI提示词:业务规则独立成章,数量增加10倍+每个规则都有唯一标识符(如FUNC-RULE-ANALYSE-001)规则间通过引用关联
引言 网络有句话流行的话—— “未来,淘汰你的不是AI,而是掌握了AI的人”。那我们应该怎么掌握AI?我自己的理解是学会面向AI提问,利用好AI工具为我们的工作提效和赋能。 本文所分享的Prompt工程,就是给大模型输入提示词(告诉模型我们要它干什么),让AI更准确的理解我们的意图,从而输出我们想要的内容(文本、图片、视频等等)。 什么是Prompt 工程? 总结一下: 我们跟大模型交流的文本或指令就是Prompt,然而如何设计、组织、优化则被称为“提示工程”—— Prompt Engineering。 为什么Prompt会起作用? 总结 本文介绍了Prompt 是什么、为什么要学习Prompt工程、并且对比了跟传统搜索的差异,最后给出了好的Prompt关键要素。 回到前面说的 未来淘汰你的不是AI,而是掌握了AI的人,我们可以进一步理解为能更好跟AI沟通的人会更具有竞争力。未来已来,我们需要持续学习,才能让AI更好的为我所用。
自从AI出现之后,人类对于AI的担忧就从来没有消停过,特别是AlphaGo的横空出世将AI带到大众跟前,对AI的争论就更加激烈。 对于普通大众而言,AI是否会毁灭人类不需太关心,但是对AI是否会取代人类工作就异常敏感了。 我只是一介小民,担忧人类未来的事情轮不到我来操心,也不是业界大佬,泛泛而谈没什么意义,只是最近看到一篇关于Cloud AutoML的文章,突然想到一个问题:AI会让AI工程师失业吗? 中,AI工程师分为三个层级:科学家(专家)、算法实现及改进者、算法应用者。然而,AutoML改变了机器学习的游戏规则。 然而二十年过去了,市场对软件工程师的需求逐年增加,至今仍没有看到下降趋势。 ? 当年的Visual Basic界面,看起来那么亲切 观察整个计算机技术发展的进程。
您如何看待它随着AI & ML技术的发展? 目前的客户体验“AI无处不在,但结果大相径庭”。使用同一项服务的两个客户可能对他们的体验有完全不同的印象,而且在很多情况下,这项服务是笨拙的,结构也很糟糕。 Canva的机器学习工程师保罗•Tune认为,“在改善客户体验方面有两种趋势: 为个人量身定做的趋势,因为更多的数据被收集到每个客户的大规模; 通过预期客户的需求,为客户提供跨多个接触点的平稳体验的趋势 例如,我最近采访的一位来自NetFlix的工程师提到,当电视连续剧被选中时,用户最喜欢的角色就会出现在菜单中。这意味着必须更多地了解每个客户,并预测他们的习惯。 试图整合AI & ML技术和客户体验的企业面临哪些挑战? Paul总结了许多企业在流程中采用AI和ML时面临的另一个常见挑战——数据量。他说:“目前的机器学习技术依赖于相对大量的数据来提供良好的预测。”
之前写了一篇:LangChain创始人回应为啥不做托拉拽的智能体工作流 正好今天看到零一万物的一篇讲AI工程落地的文章,观点很相似。 原文链接:大模型时代Agent系统的架构哲学与技术演进 附上Anthropic关于上下文工程的解法: 上下文构成: - System Prompt:要极其清晰,使用简单直接的语言,高度正确的呈现,模糊的指令无法给
作者: 刘培 AI创业企业算法工程师 西安电子科技大学光电图象专业,硕士 毕业后就职于爱立信 2018年初加入AI创业企业,从事图象处理领域的研发工作 2017年8月17日,主讲人曾经做过一个分享:《我 在今年初,主讲人再次前进一大步,成为了AI工程师。本文呈现给大家这一年的工作历程。 ---- 偶入人脸识别领域 ? 我觉得让一个没有工程经验的人直接去学可能不是很快,但是有工程能力的人去学AI相反会比较快。 ---- Q2:训练模型用了多少服务器资源?多少时间?多大数据量? ---- Q5:有很多开源AI框架,如TensorFlow,做工程还需要读论文并实现它吗? A5:我们现在经常是需要看最新的论文,比如CVPR之类国际上比较有名的会议的期刊和论文。 A8:”女生不适合做程序员,女生更别想着有去做AI工程师”——我觉得这些都是谬论。 女孩,有自己的优势,即使女生要面对生孩子问题。
AI研发工程师成长指南 本文为数据茶水间群友原创,经授权在本公众号发表。 关于作者:Japson。某人工智能公司AI平台研发工程师,专注于AI工程化及场景落地。 0x00 前言 首先,《AI研发工程师成长指南》这个题目其实有些标题党了,准确地来说,本文内容应该是:“要想成为一名AI研发工程师,需要具备哪些技能”。 0x01 关于AI行业的思考 算法工程师的门槛 AI算法工程师年薪百万,应届毕业生年薪都有80w… 去年AI人才缺口就已经过百万,今年将达500w… 加入《XXX训练营》,XX天打造AI算法工程师… 在网络上充斥着各种类似上面那样的吸引眼球的文章标题 AI企业痛点 当然,我说这些不是为了打击大家的信心,而是要指出现在行业内的痛点:AI工程化。 人工智能发展到现阶段,已经从实验室中的算法走向了工程化应用的阶段。 因此,我认为了解AI工程化场景、解决方案;熟悉AI项目流程、机器学习Pipline;掌握AI系统研发、服务部署上线能力的工程师将会逐渐成为AI团队的中坚力量。
对于一些有想法但不会画画的人来说,AI的出现无疑是个好消息。现在AI绘画蓬勃发展,用户只要将脑海中的画面描述给AI,就可以得到相应的作品。而对于“提示工程”这一领域,AI绘画大有助益。 Prompt让AI绘画更具创造力提示工程(Prompt Engineering)是一种机器学习和自然语言处理领域中的技术,旨在通过给出精细和有针对性的提示,帮助模型生成更加准确、具有创造力的输出。 最近火爆的ChatGPT便可以作为AI绘画的提示工程源头,对AI绘画工具的应用,是一个质的飞跃。 提示工程在AI绘画领域的应用前景随着AI技术的不断发展,AI绘画作为一种新兴的技术,正逐渐被应用于各行各业的“提示工程”中。 除了以上领域,AI绘画技术还可以应用于各种提示工程中,例如娱乐、文化艺术、金融、广告等领域。
一、 基础设施层:算力的抽象与池化这一层的目标是将原始的硬件算力,转化为可被高效、灵活调用的工程资源。1. 三、 数据与特征工程基础设施“垃圾进,垃圾出”在规模化AI中会被无限放大。这一层确保流入模型的是高质量、一致的“燃料”。1. 特征平台这是工程化与科研的核心分水岭。 总结:从“炼丹师”到“基建架构师”传统的算法工程师如同“炼丹师”,专注于模型本身的精妙。而掌握基础设施与运维技能的AI工程师,则是“基建架构师”和“城市规划者”。 维度“炼丹师”“基建架构师”核心关注点模型精度、新算法系统稳定性、可扩展性、成本效率工作产出.pth或.h5文件一套自动化、自适应的AI平台与服务思维方式实验性、探索性工程性、系统性、产品化价值体现解决 构建这套基石能力,不仅需要技术广度,更需要将软件工程、数据工程和运维文化的精髓,深度融合到AI的每一个生命周期之中。这,正是AI工程化的终极奥义。
AI 时代已经到来!人工智能已经不是只有在科幻小说和电影中才会出现的东西,现在它离我们越来越近,而且已经渗透到各行各业。 从百度的无人驾驶车,到现在的阿里人脸识别的无人售货超市,AI 技术越来越趋于成熟。 ? 即将带来的产业变革,也促使市场对于 AI 工程师的需求异常强烈。 根据统计,毕业1 ~ 3年 AI 工程师的平均月薪在15k ~ 25k,更资深的工程师年薪甚至可以达到百万。 ? 也正是因为充满想象力的发展前景和高薪诱惑,许多程序员都希望可以转型 AI 领域。 但你对AI真的了解吗? 具体来讲,人工智能包含以下三个部分: 机器学习 机器学习,简单来说就是让机器产生智能。 这也预示着强化学习在金融、游戏 AI、机器人等领域有着广阔的应用前景。 ? (图:AlphaGo 战胜人类围棋冠军李世乭)
AI 概括 文章以工程师视角回顾自己与 AI 协作的实践历程,从谨慎试用到高频使用,效率显著提升。 核心观点是:AI 能放大能力、完成大量体力工作,但无法替代架构思维、系统设计与边界判断。 面对 AI 时代的职业焦虑,作者建议拥抱工具,同时通过扎实基础、清晰拆解与严格审查保持竞争力。 结论是 AI 会成为必备工具,但真正的决策与责任仍需由人类工程师承担。 再往后,我开始把 AI 纳入工程流程:让它参与代码优化、模块重构、文档整理,再配合严格的人为控制的 Code Review,逐步建立可控的信任。 可能轻松完成项目前 70%,但剩下 30%(边界情况、性能优化、安全性)更依赖经验丰富的工程师。 AI 可能会像 IDE、Git、Docker 一样成为工程师的标配。重要的不是“会不会被 AI 取代”,而是“如何用好 AI 放大自己的价值”。 保持学习,保持思考,保持本真。
今天准备聊一下 AI 治理和 AI 编程大规模工程化方面的一个话题。 我们要真正地从“用 AI”变到变成“AI 的指挥官”,这就是驾驭者工程谈到的最核心的内容。 驾驭者工程其实就是在原有的提示词工程、上下文工程的基础上,进一步让我们操作指挥 AI 的时候,或者说让我们在做 AI 编程开发的时候,让整个 AI 开发软件的过程更加可控、可靠、安全、可观测。 我的理解是,驾驭者工程其实是将 AI 编程上升到组织级编程时的一个叫“后 AI 时代”,它是一个 AI 治理的时代。 简单总结核心要点 所以说简单总结,Harness 驾驭工程,它不是一个新鲜的事物,而是我们在 AI 编程发展的过程中,从个体走向组织级的时候,必须要考虑的一个 AI 治理问题。
AI总结的课程摘要: 提示工程是AGI时代的编程方式,提示工程师相当于程序员。掌握提示工程是AGI时代的基础技能。 对话系统的关键模块NLU、DST、NLG都可以通过提示工程实现。加强垂直领域知识可以提升准确度。 思维链、自洽性、思维树等是Prompt工程的几个高级技巧。 user 你好,我想选一门编程课 AI 你好!当然可以帮你选择一门编程课。我们有初级编程课和高级编程课可供选择。请问你对编程有多少基础了解呢? user 我是个编程菜鸟 AI 没问题! AI 好的!我会帮你订下初级编程课。请提供你的学生信息,包括学号和姓名,以便我为你完成选课手续。 user 我现在还很缺学分,帮我选一门,分数最高的选修课 AI 当然可以帮你选择一门分数最高的选修课。 user 我现在大四了,我的物理实验课还没有修,帮我选一下 AI 非常抱歉,根据你的学年,物理实验课只限于大一学生修读。
互联网巨头正在开发计算系统,让它们代表工程师测试无尽的机器学习算法,它们自己就可以循环测试许多的可能性。更棒的是企业正在开发一套AI算法,让算法来编写AI算法。没有开玩笑。 Facebook工程师正在设计所谓的“自动机器学习工程师”和人工智能系统,它可以协助开发AI系统。要让技术达到完美还有很长的路要走。 据米汉那透露,在开发新的AI时,Facebook工程师并不缺少创意,但是要测试这些创意却是另一回事。为了解决问题,他和团队开发了所谓的“Flow”工具。 米汉那还与团队开发了一个名叫AutoML的工具,它可以更多地承担人类工程师的工作。 更有趣的地方在于:AutoML也许可以利用AI来开发AI。 正如米汉那所说的,每个月Facebook要训练和测试大约30万个机器学习模型。
然而,这仍然是手动 LLM 上下文管理,需要工程师来指导 AI,而不是 AI 自行开发适当的系统范围的感知。它正在改进,但远非无缝。 最大的问题是什么?AI 缺乏直觉。 AI 会取代开发人员吗? 不会。 AI 将取代软件工程师的想法是无稽之谈,尤其是对于初级和中级职位。AI 将要做的是让优秀的工程师更快。它不会消除工作岗位;它会提高个人生产力。 这是根本性的转变:10 倍工程师不再是独角兽。 借助 AI,大多数中高级工程师现在都可以成为 10 倍工程师。 最后的想法 AI 编码助手具有潜力,但它们尚未改变游戏规则。 软件工程是一个快节奏的职业。语言、框架和技术来来去去,学习和适应的能力将那些蓬勃发展的人与那些落后的人区分开来。 AI 编码助手是这个周期中的另一次进化。它们不会取代工程师,但会改变工程的完成方式。 在这些工具改进之前,最好的工程师将是那些知道何时信任 AI、何时仔细检查其输出以及如何将其集成到他们的工作流程中而不依赖于它的人。
AI总结的课程摘要: 提示工程是AGI时代的编程方式,提示工程师相当于程序员。掌握提示工程是AGI时代的基础技能。 对话系统的关键模块NLU、DST、NLG都可以通过提示工程实现。加强垂直领域知识可以提升准确度。 思维链、自洽性、思维树等是Prompt工程的几个高级技巧。 user 你好,我想选一门编程课 AI 你好!当然可以帮你选择一门编程课。我们有初级编程课和高级编程课可供选择。请问你对编程有多少基础了解呢? user 我是个编程菜鸟 AI 没问题! AI 好的!我会帮你订下初级编程课。请提供你的学生信息,包括学号和姓名,以便我为你完成选课手续。 user 我现在还很缺学分,帮我选一门,分数最高的选修课 AI 当然可以帮你选择一门分数最高的选修课。 user 我现在大四了,我的物理实验课还没有修,帮我选一下 AI 非常抱歉,根据你的学年,物理实验课只限于大一学生修读。
大家好,我是人月聊IT,今天接着聊AI和大模型方面的话题。 我把它叫做 AI 工程化。因为前面我聊了很多关于 AI 的话题,都是在讲 AI 怎么样辅助编程,这个本质是面向开发人员的。 但是今天我想提一个重要观点,就是到了 AI 时代每个人都应该去考虑 AI 工程化这个话题,或者叫 AI 工程化不太准确,应该叫工程化 AI,就是怎么样将你个人的工作 AI 化。 首先你要去做好个体 AI 实践,然后把它变成一个小组团队的实践,最后再把它变成一个工程级的企业级的实现,这个顺序不能错。 高层的管理者管理团队其实对这个事情他是不清楚的,他怎么可能出一个大一统的 AI 工具给所有人用呢? 所以基于这个思路,我们再展开来谈。当我们再谈 AI 工程化的时候,有几个关键点。 因为做 AI 的话,它本身也是一个系统工程,你要去大量的提取你原来做事情的方法、知识和方法论,你要去不断的去修正你的相应的提示语的模板规约。
笔者个人认为应该称为机器学习算法工程师更加恰当。这个职位和机器学习工程师类似。另外一个职位是深度学习工程师。 在工作岗位方面,我们似乎看到很多数据挖掘工程师成了机器学习工程的别称,毕竟它们之间有太多的重合。 推荐系统和广告系统作为能直接带来效益的部门,自然需要招聘专门的推荐算法工程师和广告算法工程师。推荐算法工程师和广告算法工程师的主要职责分别是建立推荐和广告的点击率预估。 例如深度学习工程师很大概率从事计算机视觉相关的工作,而计算机视觉工程师必须有深度学习背景和知识。 PS.腾讯技术工程沙龙首次抵达武汉!在3月30日及3月31日分别走进腾讯众创空间及华中科技大学,携手腾讯AI实验室及腾讯优图为你揭秘腾讯人工智能,也许还有进入鹅厂从事AI的机会等着你哟!
工程师Daves Armoury有一只肥猫叫Henry 他希望自己的肥猫可以在家里锻炼身体,于是想到用机械臂、激光臂,利用人工智能,做一个AI逗猫机械臂!