架构师能力模型 ---- 网上已经有前辈在 2007 年时,已经总结了他对架构师的能力模型的理解。 写得非常详细,见:《架构师的能力模型(图)》、《能力要成体系》、《旧文重发:做人、做事,做架构师——架构师能力模型解析》。 个人觉得,上文中的能力模型有些过于具体,不方便读者按照该模型进行学习。 这些因素为什么会成为架构师能力模型中的关键因素? 下面我来补充一下我对架构师的能力模型的理解。能力模型分为两个层次。 ? 可能比较抽象,我对本层能力模型中的各个能力点做一些简单的诠释: 学习能力,是一切能力的源泉!所有的知识,都可以学习。学习能力是一个人的核心能力!所以,在学习任何事之前,应该先学习如何更好地进行学习。 其它:…… 专业能力层 ---- 通用能力层之上,就是架构师能力模型中第二个层次:专业能力层。这一层的能力越精通,说明越能胜任架构师。 ? 基础能力层:基础能力层的特点是非常简单,但是却非常重要。
对大模型应用的能力分级就像给学生打分一样,能让我们更清楚它的本事有多大。能力分级能帮我们设定目标,知道AI现在能干什么,未来还要学什么。 另外,能力分级让普通人更容易理解AI的能力,避免过度期待或担心。 大模型的应用主要有两种常见模式:RAG 和 Agent。选哪种 RAG 架构,得看具体要解决什么问题,确保它适合任务需求。 RAG 回顾 实现一个高效的 RAG(检索增强生成)系统面临几个关键挑战:首先,系统需要能够准确地找到与用户问题相关的信息;其次,它必须正确理解用户的真实意图;最后,还要能够利用大型语言模型(LLM)的推理能力来处理复杂的任务 关于RAG 的更多资料,可以参考《大模型系列——解读RAG》、《RAG的10篇论文-2024Q1》、《Chunking:基于大模型RAG系统中的文档分块》、《解读GraphRAG》和《在大模型RAG系统中应用知识图谱 小结 将大模型应用的能力进行分级,不仅有助于推动技术发展,还能更好地匹配实际应用场景,同时也让公众更容易理解其价值。
LLM大语言模型终究也只是一个工具,我们不可能每个人都去训一个大模型,但是我们可以思考如何利用好大模型,让他提升我们的工作效率。 提示词(prompt)就是你给大模型下达的指令输入,它包含以下任意要素: 指令:想要模型执行的特定任务或者指令。 上下文:包含外部信息或额外的上下文信息,引导语言模型更好地响应。 提示工程就是开发和优化提示词(Prompt),一种在大模型中使用的技巧,通过提供清晰、简洁的指令或问题,充分发挥大模型的能力,让模型更好地理解我们的需求,从而得到更好的模型输出。 给大模型提示语的时候,你就是产品经理: 你随便提需求,模型也就随口一答; 你提出详细的需求,给出充分的需求背景,给足输出数据,定义好输出格式,好的模型就像一个好的程序员,会给你一个满意的答复的~ 2 prompt 策略1:指定完成任务需要的步骤 告诉模型完成这个指令,需要执行几步,每步的详细步骤 策略2:明确模型再给出结论之前推理出自己的解决方案 让模型自己推理,写出每一步的步骤,给足够的时间(token-钱)边思考边执行
同时P7具备的专业的开发技能和一定的架构知识,在程序员纬度上能力慢慢趋于全面。 而且我推荐技术团队的leader要到P7才开始带团队,从BAT来看,基础leader都是P7开始胜任的。 ? ---- 后台开发知识 关键词:理解原理,掌握后台架构设计方法论 标准: 深刻理解系统在实际运行过程中所经过的各个环节的相关知识,原理,如硬件(CPU,内存,存储架构等),内核(进程调度,内存管理模型) 开发能力 关键词:能主导或核心参与大中型项目,能担任大型项目的技术负责人 标准: 精通1~2门主流开发语言。 熟悉1~2种常见软件工程开发模式,领会其中要领,并在具体项目中实践过。 架构能力 关键词:子系统设计能力,完整系统设计能力,横向大系统设计能力&前瞻性 标准: 能够完成多方需求收集,形成技术需求文档。 考虑合理的地域或机房分布,系统灾备能力,运维发布及扩展性。 能够充分的估算出系统可达的性能,能够设计出高性能,高并发,海量数据处理系统。 能够对公司内部系统的架构有一定深度的认识和了解。
01GPT能力的完善与大模型能力竞争的终结OpenAI发布ChatGPT3.5引爆市场的几个月间,引发了一场大语言模型“大跃进式”的风暴。 需要指出,大模型能力之争的终结并不指只有OpenAI一家公司独大,而是指其它大模型所发展的方向和生存,不再是以模型基础能力为主要考量,将会向更多复杂的因素延展。 的大模型有差距,但是依靠特定方向的能力提升或者其它赛道上的独特优势成为大模型领域的“多强”。 在这个类比中,大模型仿佛是互联网本身,而每个Agent则像是利用互联网能力的独特应用程序或网站。正如4G和5G的推出催生了新一代的应用和服务,大模型的能力提升也将导致Agent的创新和进化。 大模型其实是“人脑”system1的能力,更偏向于直觉,经验,和“快”反应,这是大模型作为预测模型所决定的,那么Agent能做的就是补充System2的”慢“能力,和长期记忆结合,提供更加复杂的决策、逻辑归因
在此,图图为大家梳理了产品市场能力模型,试图去解释我所理解的产品市场工作。 阅读本文,希望能够帮你: 概括产品市场的职责,帮助新人介绍清楚自己是干什么的; 对照能力模型评估自己的工作流程和业务能力; 找到自己的方向,根据自身经验向某一方向的产品市场专家努力。 那么开门见山,就让我们直接来看这个产品市场能力模型吧: ? 这个能力模型,可以概括产品市场的职责以及工作流程。下面我们展开讲解。 ? 赋能——卖什么,怎么卖 在这个能力模型里面,我没有写产品市场JD里面经常提到的“包装产品”“提炼卖点”之类的内容。因为这些事是过程,而非结果。你要蒸包子,怎么可能不会和馅儿呢? 以上,就是图图总结的产品市场能力模型。对于产品市场能力和工作职责的梳理肯定有遗漏,但是大体的能力和方向就是这些。基于不同的从业经验和个人兴趣,产品市场会发展出不同技能树。
星球有同学向我提了一个问题: “目前在做性能测试岗位的职级划分和能力模型定义的的工作,想咨询下性能测试岗位按照初/中/高/资深/专家,不同职级应该具备哪些能力,如何衡量这些能力”? 针对这个问题,结合我自己之前作为面试官和稳定性团队Leader的经验,对于性能测试岗位,我个人认为岗位能力模型的划分可以参照如下的内容。 岗位胜任力模型 岗位分级 必备技能 角色定位 关键任务 初级 1、性能测试基础理论2、熟练使用压测工具 脚本执行工具人 1、能写脚本2、看得懂监控指标 中级/高级 1、性能测试基础理论2、熟练使用压测及监控工具 :性能测试的测试对象是各种软件系统,因此了解系统的技术架构和各种调用依赖关系也是必不可少的; 评估能力:问题越早发现修复成本越低,在需求和方案评审时就评估发现风险,这是高级向资深迈步的必备能力; 规划能力 :上面的六点能力主要集中在如何解决问题,规划能力是建设解决问题能力的底层建设和整体发展方向; 一站到底:对于专家岗位,我的认知是所有这个领域的问题到这里就应该都被解决,无论是技术难题还是沟通协调; 最后
虽然公司和自身都总有诸多不尽如人意的地方,但是,自我觉得个人学习能力还行,所以不断地学习并调整自己的工作方式。慢慢地,也逐渐形成了自己的管理体系。 这两天,也看了看别人对于 CTO 的一些总结。 下面就简单分享一下我对 CTO 能力模型的总结。 ? ? ?
其核心框架可拆解为基础维度、主流基准与关键方法,共同构成模型能力的“CT扫描”系统。 二、主流基准与核心指标通用能力:MMLU(57学科准确率)、HellaSwag(常识推理)为标杆,需控制数据泄漏与温度参数。 AI评测的核心是“场景匹配”:通用能力看MMLU+人类偏好,代码能力信SWE-bench+pass@k,安全侧重拒答率与校准度。唯有多维指标联动,才能勾勒模型真实能力画像。
上回我们谈到AI模型的两大基石之一,云能力,而云能力分为边缘计算能力和PAAS层中心能力。在咨询项目中,如何构建PAAS层中心能力。 从当时地质业务需求来看,中心层能力是大模型计算的核心能力,依赖机房的计算存储平台,大模型可以按需运算并预测结果。 由于部署了台风预测模型,业务侧需要分钟级输出未来30天的预测结果,每分钟计算资源要非常充足。 硬件平台讲了这么多,其实都是为PAAS层能力服务。为了让业务侧具备自主编程和调试台风预测模型的能力,PAAS层配备了微服务流水线的能力,codearts, 微服务架构。 未来模型应用的场景会逐步增多,新场景除了模型泛化能力支持外,还要进行算法调优或RAG等技术辅助。欢迎点赞和关注公众号“科技江河”,如果喜欢,在公众号打赏下呗,感谢
基于此数据集,我们对全球 18 个主流大模型的算法编程能力进行了系统评测并量化得分,详细评分榜单如下所示,可以看到全球顶尖大模型距离以往所宣称的编程能力还存在很大差距,哪怕是最高分的 o4-mini-high 基础模型决定上限: 指令微调模型在 OIBench 上的表现高度依赖其基础模型的能力,说明基础模型的预训练质量是决定代码能力的关键。 为了更细致地分析模型的能力,我们还引入了 “伪代码提示” 评测:将标准解答转为伪代码并作为提示输入,考查模型理解和复现解题思路的能力。 进一步分析发现,指令微调模型的表现与其基础模型高度相关,说明代码生成能力主要取决于预训练水平。 不仅为大语言模型的算法推理能力评测树立了一个全新标杆,也为整个行业带来了更多思考。它让我们看到:即使在模型能力突飞猛进的今天,真正高质量、高难度的算法挑战依然能够 “难倒” 最先进的 AI。
—— 罗曼·罗兰(法) 上周发的文章《创业团队从0到1,产品设计师、产品经理的能力模型与职业成长之路》,得到了很多朋友的反馈,我在这里把握的回答汇总了一下,希望对大家有帮助。 我的列能力模型不一定适合所有人。我只知道我们团队现在需要这样的人。 但是大道至简,作为互联网产品经理,背后知识也总有些相通的地方。 对于我的产品经理能力和核心就是人、技术、商业,这源自IEDO的Design Thinking。 ? 国外专家也有用UX、技术、商业三个环代表产品经理的能力,但本质和IDEO的模型没有差别。 ? 我设置的能力模型,也仅代表自己公司的目前需求。 Q4:如果这些前提的知识都是通用型的,是不是就可提炼到一个产品职业人的规范化培训的体系中,让入门的产品人,可快速上手。 所以招人的时候的能力模型是一个较为客观的衡量标准。 感谢小凡整理的脑图 ?
大家都知道AI现在很强大,但其实刚开始没有现在这么智能,刚开始AI其实很多内容都是回答不了的,尤其是一些垂直领域或实时性比较高的问题,比如“今天的天气如何”等,这种需要大模型具备与外界交互的能力,比如获取墨迹天气等等天气平台的实时接口 ,这个时候OpenAI提出了Function Calling的解决方案,从而让AI大模型拥有了自身能力的外部工具的能力,到现在与Function Calling一样能够让大模型和外部交互的各类Agent 要使大模型拥有ReAct 能力,使其变成 Agent,我们需要在向大模型提问时,使用 ReAct Prompt,从而让大模型在思考如何解决提问时,能使用 ReAct 思想。 New input: {input}"""模板会传授大模型按照规定的格式思考和回答问题,这就是在教大模型如何推理和规划,大模型在有了推理和规划能力后就变成了 Agent。 腾讯云混元大模型
LIMO: Less is More for Reasoning我们挑战了当前普遍假设——大语言模型(LLM)的复杂推理需要海量训练数据。研究表明,仅需少量示例即可激发模型的复杂数学推理能力。 通过简单监督精调,LIMO模型在AIME24和MATH500测试中分别达到63.3%和95.6%准确率,超越先前需要100倍训练数据的精调模型(AIME24 6.5%,MATH500 59.2%)。 该模型还展现出强大的分布外泛化能力,在多样化基准测试中实现45.8%绝对提升。 基于这些发现,提出少即是多推理假设(LIMO Hypothesis):当基础模型的预训练已全面编码领域知识时,仅需少量但精心设计的认知过程示范即可激发复杂推理能力。
然而,这些大模型是否具备自动学习能力,即通过用户与其交互的过程中变得更智能,仍是一个值得探讨的问题。 本文将从大模型的训练方式、交互能力和潜在的自动学习机制等方面进行分析,探讨其是否能在使用过程中自我提升。 大模型的训练方式 预训练与微调 大模型通常采用预训练和微调的方式进行训练。 用户交互与智能提升 用户交互的现状 在用户与大模型的交互过程中,模型依赖于其预先训练的知识和微调时获得的任务特定能力。模型通过理解用户输入,生成合理的响应,从而完成对话任务。 用户反馈机制:通过引入明确的用户反馈机制,模型可以在用户提供正面或负面反馈时进行有针对性的学习和调整,从而提高模型的智能和适应能力。 隐私保护技术:采用差分隐私、联邦学习等隐私保护技术,在保障用户数据隐私的前提下,实现模型的自动学习和优化。 结论 目前的大模型在与用户的交互过程中,尚不具备真正意义上的自动学习能力。
而一个行业、一个专业的能力模型就代表了你在这个行业是如何选择自己的人生与未来的。什么是能力模型每家公司会根据职能、级别去设定不同的能力模型,能力模型需要清楚的定义每个维度、每个级别所需要的能力。 业务测试工程师能力模型业务测试工程师的能力模型主要有以下 5 个维度:能力维度 Lv.1 Lv.2 测试开发工程师能力模型测试开发工程师的能力模型主要有以下4个维度:能力维度 Lv.2 根据能力模型做提升了解能力模型之后,就进入到下一个话题,即,如何能够提升到对应能力模型的能力呢?王阳明除了以终为始之外,还提出过知行合一这样的伟大思想。所谓知,即为人的认知,所谓行,即为人的行为。 而前文提到的能力模型,就是我们的认知。接下来我们就需要采取行动,完成“知行合一”。
图片 大模型模态是什么? 动不动听到多模态、多模态。模态是数据的存在形式与信息载体类型,大模型的 “模态能力” 就是它处理、理解、生成不同类型数据的能力。 白话就是:AI能理解的数据形式。 + 图像 + 语音 + 视频等混合载体 GPT-4V、Gemini Pro、通义千问多模态版 技术文档图文解析、故障截图 + 文字描述联合排障、视频教程内容提取 多模态误区澄清 误区 1:模态越多,模型能力越强 如何快速了解“你当前使用的大模型有哪些能力” 方法 A:直接提问(自我声明法) 任务要求:全面列出当前可调用的所有内置能力与外部工具。 输出结构: 内置能力 名称:能力的正式名称 用途:该能力的功能说明及适用场景 可接受的输入格式:参数类型、格式说明 输出形式:该能力返回的结果或响应类型 外部工具 名称:工具的正式名称 用途:功能说明及适用场景 适用于音频生成和朗读服务 文本内容(必填),选填语音风格或语速参数 音频文件或在线播放链接 text_to_speech 将输入文字转换为语音 文本(必填),可选语言与音色参数 音频文件或链接 知道大模型的能力
在答辩过程中,评委老师的一个问题引发了我的思考:请问ToB和ToC产品经理的能力模型有哪些区别?当时我的回答比较简单,认为是ToB经理必须要梳理和理解复杂的业务流程。下面我尝试系统地回答一下。 因此我依据ToB销售时的客户模型,将用户划分为了4种角色。这种用户角色划分方法在ToC产品中是比较少见的。 2、产品策划通道能力模型 产品策划通道能力模型在答辩之前,对于这个能力模型我是有一定了解的,但是等到评委提问时我完全没想起来这19个能力点。后来答辩结束后又仔细研究了一遍,发现确实蛮有内容的。 3、ToB产品经理能力模型的差异点应该说,上面一整套产品经理的能力模型非常完备,只是ToB有3个点更为侧重:一是技术知识。 以企业微信招聘的产品策划岗要求为例:“本科及以上学历,4年以上互联网产品策划工作经验,很强的逻辑能力、系统思考能力并具优秀产品意识; 有企业产品背景更佳,有CRM、电销类、客服类产品相关经验最佳; 对零售
然而,尽管这些模型表现出色,它们在推理和理解复杂上下文方面仍然面临重大挑战。 这些模型擅长识别并模仿训练数据中的模式,但当任务需要真正的理解和逻辑推理时,它们往往遇困。 当需要整合对话或文本的多个部分时,模型可能会出现推理错误。例如,在一场长时间的讨论或复杂的故事叙述中,模型可能会忘记或误解之前的信息,导致后续的矛盾或错误结论。 相较于直接承认问题无解,模型可能会基于训练数据的模式硬给出一个答案,这可能导致误导性或错误的结果。推理能力的局限性在这一点上尤为明显。 3 研究人员如何改进 LLM 的推理能力? 目前,研究人员正在探索多种方法来提升 LLM 的推理能力,其中包括改进数据集、引入链式思维、使用外部验证器和整合专门的求解器。 通过更广泛、更精细的数据集训练模型,可以增强其处理复杂推理场景的能力。 3.2 链式思维(Chain-of-Thought) 这一方法 旨在让 LLM 按照人类的逻辑思维方式,逐步进行推理。
以往我们都是把ChatGPT看做是一个对话模型,然后输入我们的问题或者需求,让ChatGPT输出我们想要的答案。 可以看出ChatGPT可以实现部分推荐模型能干的事。 然后,我继续追问,“你这是基于什么思想给我推荐的呢?” 然后,让我们看一下他的next item推荐的能力,我给定一个观看序列“《夏洛特烦恼》、《天下无贼》、《西红柿首富》、《人在囧途》和《唐人街探案》”,让它预测下一个我想看的电影。 不错,这次的推荐还算是我比较认可的,看来加上“顺序”后,模型更加偏向于利用上边几个观看的电影而不仅仅是最后一个。 接下来,让我们输入一个用户画像,看看它的推荐能力吧。 他的能力超乎了我们的想象,主要是它摆脱了许多程序员和科研工作者的重复劳动,比如简单代码编写、英文润色等,让我们得以专注在更高层次的工作中。就好比第一次工业革命的时候蒸汽机解放了许多劳动人民的双手一样。