本文主要是讲如何建立有效的环境、程序、配置、数据库变更和管理平台。 几天前和朋友 Ivy 聊到环境、程序的配置变更,数据库变更和整个上线流程。 此时研发效能管理平台就会自己记录一份当时运行的命令,以便后面排查之需,比如保障制品的可重现。 当配置中心中的各种参数有更新的时候,也能通知到各个服务实时同步最新的信息,使之动态更新 数据库配置和数据库变更管理 我们在上线应用的时候,通常也伴随数据库变更,主要的需求 SQL上线审批流:做某些关键变更要有人审批 具体的情况说明,可以参考我《研发效能之环境管理》的这篇文章。做好变更风险管控就好。 这样数据打通、角色和权限打通、流程打通,统一的体验和流程,解决了各种系统间跳转带来的问题,提高了产研运各方的整体效能和工作体感,尤其是对于中小公司来说。
关键词:向量数据库、知识增强系统、RAG、性能优化、效能分析 文章目录 引言:为什么向量数据库这么火?️ 向量数据库基础架构解析 知识增强系统(RAG)核心机制 效能分析框架建立⚡ 关键性能影响因素深度剖析️ 系统优化策略与最佳实践 实际场景应用案例 总结与未来展望 引言:为什么向量数据库这么火? 向量数据库基础架构解析什么是向量数据库?简单来说,向量数据库就是专门存储和检索向量数据的数据库系统。 核心架构组件主流向量数据库对比数据库优势适用场景性能特点Pinecone云原生、易用快速原型、小团队延迟低,但成本较高Weaviate开源、功能丰富企业级应用平衡性能与功能Chroma轻量级、Python RAG工作流程详解RAG vs 传统方案对比传统方案问题: - 模型训练成本高昂 - 知识更新困难 - 容易产生幻觉 RAG方案优势: - 实时知识更新 ⚡ - 可追溯信息来源 - 成本可控 效能分析框架建立要系统性地分析向量数据库与知识增强系统的效能
向量数据库基础架构解析 {#vector-db-basics} 什么是向量数据库? 简单来说,向量数据库就是专门存储和检索向量数据的数据库系统。 它不像传统数据库那样存储表格和行列,而是存储一串串数字(向量),这些数字代表了文本、图片或其他数据的"特征指纹"。 核心架构组件 主流向量数据库对比 数据库 优势 适用场景 性能特点 Pinecone 云原生、易用 快速原型、小团队 延迟低,但成本较高 Weaviate 开源、功能丰富 企业级应用 平衡性能与功能 Chroma RAG工作流程详解 RAG vs 传统方案对比 传统方案问题: 模型训练成本高昂 知识更新困难 容易产生幻觉 RAG方案优势: 实时知识更新 ⚡ 可追溯信息来源 成本可控 效能分析框架建立 {#performance-framework} 要系统性地分析向量数据库与知识增强系统的效能,我们需要建立一个全面的评估框架。
《构建高效能数据库系统:YashanDB实用配置指南》是一本非常有价值的参考资料,尤其对于那些希望提升数据库性能的工程师和开发者来说。 YashanDB作为一款高性能数据库系统,它的配置和优化策略可以显著影响其运行效率和响应速度。以下是一些在配置YashanDB时的实用指南,旨在帮助你高效地构建数据库系统:1. 高可用和备份为了保障数据库的高可用性和数据安全,以下是一些配置建议:- 主从复制:配置主从复制,保证数据的高可用性。在主数据库故障时,从数据库可以快速接管。 - 容灾恢复:部署异地灾备系统,确保在自然灾害或设备故障时能够迅速恢复数据库。7. 性能调优- 查询分析:使用数据库自带的查询分析工具,识别性能瓶颈。 结语构建高效能的数据库系统不仅仅依赖于硬件和软件的基础配置,还需要合理的架构设计、性能优化和持续的监控管理。
从上图中我们可以得到研发效能主要关注点还是在产品研发这个环节,不涉及市场。 写作初衷 软件开发领域从不缺新概念。 本着「少些概念解决问题,脚踏实地躬身入局」的原则,之前写了一些关于研发效能领域实践的文章,写完之后我一般用的标签是「研发效能」「持续集成」「持续交付」「DevOps」,这样就让本来很简单的一件事复杂了很多 部署到生产环境可能受到诸多因素影响,比如额外的文档准备、数据库变更、配置变更、上线窗口等,所以强调质量保证通过不需要人工审批直接部署到生产环境意义不大。 研发效能 定义:研发效能是一个组织高效交付产品的能力,以及围绕提高这一能力所建立起来的由规范、流程、标准、工具、度量体系、实践等组成的系统工程体系。 细品:研发效能包括规范制定、流程优化、工具建设、研发度量和实践这五个方面。后面的文章我会针对这五个方面一一阐述。 总结 研发效能是组织高效交付产品的能力及支撑其能力所建立的系统工程体系。
undefined技术支撑以TDSQL数据库为基础设施,目标实现一致高可用、高SQL兼容度、分布式水平扩展、高性能、完整分布式事务支持、企业级安全(项目建设目标)。 量化TDSQL应用下的业务效能提升 TDSQL两地三中心容灾架构为核心技术载体(数据来源:赞同科技股份有限公司 2024 TENCENT GLOBAL DIGITAL ECOSYSTEM SUMMIT) ,关键效能指标如下: 容灾能力:同城双中心数据强一致同步 RPO=0、RTO<30s;异地异步复制延迟<30分钟;系统整体高可用性99.999%以上;单中心内2个数据节点同时故障时,其他节点可继续服务
3.为什么选择 ClickHouse 获取 Google Analytics 数据 虽然 ClickHouse 对我们来说是显而易见的选择,但作为一项测试活动,它实际上也是用于网络分析的数据库 - “Click”一词来自 Click Analytics,这是数据库开发的原始类似 Google Analytics 的用例。 这些查询中的大多数都包含聚合,ClickHouse 作为面向列的数据库进行了优化,能够在不采样的情况下对数千亿行提供亚秒级响应时间 - 远远超出了我们在 GA4 中看到的规模。
一、效能平台系统演进 1.1 系统早期 效能平台最早是为了解决整个公司在日常协作时横跨多个系统,操作成本极高的问题。 二、效能平台的定位——三大“自我修养” 长期以来,为了达成未来效能平台既是“基础设施”又是“跃迁平台”的目标,我们对效能平台总结了三大“自我修养”,也就是定位的三大关键词: 2.1 效能 效能的定义为“ 效能=效率+效果”。 所以效能(效率+效果)是促成组织OKR实现的度量标准和正确视角,而能否实现OKR也是促使大家去关注效能的内在动力,两者可谓相辅相成。 而肩负着有赞效能改进的工具性使命的效能平台,必须“闭环”。
3.为什么选择 ClickHouse 获取 Google Analytics 数据 虽然 ClickHouse 对我们来说是显而易见的选择,但作为一项测试活动,它实际上也是用于网络分析的数据库 - “Click”一词来自 Click Analytics,这是数据库开发的原始类似 Google Analytics 的用例。 这些查询中的大多数都包含聚合,ClickHouse 作为面向列的数据库进行了优化,能够在不采样的情况下对数千亿行提供亚秒级响应时间 - 远远超出了我们在 GA4 中看到的规模。
对于大量小而美的互联网软件项目,当版本需求被确认之后,比拼的就是研发能力,具体来讲就是从需求转化成软件或者服务的能力,这其中研发效能的高低对于理平台这里首先明确两个关键词的含义:CI: 持续集成,开发提交代码后
3.为什么选择 ClickHouse 获取 Google Analytics 数据 虽然 ClickHouse 对我们来说是显而易见的选择,但作为一项测试活动,它实际上也是用于网络分析的数据库 - “Click”一词来自 Click Analytics,这是数据库开发的原始类似 Google Analytics 的用例。 这些查询中的大多数都包含聚合,ClickHouse 作为面向列的数据库进行了优化,能够在不采样的情况下对数千亿行提供亚秒级响应时间 - 远远超出了我们在 GA4 中看到的规模。
本文节选自《软件研发效能提升实践》一书第十五章——研发效能的规模化实践。 在数字化转型、软件“吞噬”世界的时代,软件研发效能已成为企业的核心竞争力。 这类企业会通过在信息中心成立一个研发效能部、 DevOps 建设组等方式,保证有人在持续关注整体团队的研发效能改进。 研发效能部门的工作如何考核 “如果你无法度量他,就无法管理它”,百人级企业可以快速进行研发效能提升的核心在于对度量的需求小,业务模式简单,研发效能的提升与变化可以在实际产出中明显地反映出来,不需要价值证明的过程 因此,在服务客户时,我们会建议客户投入优秀的业务 IT 人员组建研发效能团队,引入外部咨询团队的专业调研方法,为研发效能团队打造合适的软件研发流程规范。 在这个过程中,客户应建立软件研发效能团队的方法论,打造一支熟悉业务、理解效能、内部信任、长期服务的团队,并通过与具体业务 IT 团队对应的关键效能指标对该团队进行价值衡量。
内容简介 Brief Introduction 高效能软件开发团队是任何组织能够持续交付价值的关键。 本书主要介绍了高效能团队模式——团队拓扑,为组织设计和团队交互提供了一种实用的、分步的、适应性的模型,将团队视为交付的基础,团队结构和沟通路径能够随着技术和组织成熟度的发展而演变。 董越,前阿里巴巴研发效能高级专家,DevOps标准核心编写专家,《未雨绸缪——理解软件配置管理从软件集成策略》作者,《版本控制之道——使用Git》译者。 《高效能团队模式》通过对这些关键组织模式、动态交互模式及组织进化方面细致入微的展示,丰富了我们对于组织结构的理解。 《高效能团队模式:支持软件快速交付的组织架构》就像一座灯塔,指引我们从固态组织(陆)航向动态组织(海),期待科技组织大航“海”时代的到来。
因此,企业须充分重视并积极实施效能度量,借助有效的数据分析和洞察,推动行业的持续创新和发展。 在本文中,我们将分析一个金融企业效能洞察的案例,展示效能洞察对企业所带来的显著效果。 02、案例 某大型企业规模庞大,业务复杂,旗下员工数量接近3000人。 因此,该企业决定积极推动度量改革,并打造全集团的效能度量平台,期望通过数据洞察辅助提升效能,实现持续改进。 改进措施: 通过接入需求管理、代码管理、集成管理和测试管理系列工具的数据,系统能够自动采集数据并处理这些数据,最后将它们存放在统一的数据库中。 这种方式依靠大数据库的数据处理能力,解决了数据处理效率低、加载速度慢、数据分散导致的数据关联性差等问题。
本文将展示如何计算A/B测试的样本量(效能检验)。阅读之前请熟悉抽样分布的概念(点击这里复习)以及比例的标准误差的计算方法(点击这里复习)。祝学习愉快! 1. 一般来说,我们希望将错误率降低至20%,这相当于80%的效能。我们可以通过增加样本量来达成这一目的。 简要回顾:通过7天的A/B测试,每组收集到了700个独立访客的样本量,但是实验的效能只有35%。 将效能提升至80%需要扩大样本量,这需要延长A/B测试的时间。 3. 手动计算80%效能所需的样本量 如果要使测试的效能达到80%,需要多大的样本量呢? 当每组的日访问量为100个独立访客时,测试时长至少要达到23天才能得到效能达到80%的实验结果。 简要回顾:利用标准正态分布,可以得出80%效能需要标准化均值差达到约2.8。 用R进行统计分析 到这里,我们已经非常熟悉样本量计算(效能分析)的整体框架了。接下来,来看看如何将上述所有步骤简化为几行代码。
技术治理的活,之前我们也是做的,只是没有提的这么明确,一般都是研发效能团队、PMO、架构团队、技术委员会一起协调做这些事情。 技术治理&研发效能 首先,我们还是回顾下研发效能的定义和核心价值 研发效能是一个组织持续高效交付产品的能力,以及围绕提高这一能力所建立起来的由规范、流程、标准、工具、度量体系、实践等组成的系统工程体系。 研发效能包括规范制定、流程优化、工具建设、研发度量和实践这五个方面。 scmroad,公众号:scmroad什么是研发效能? 研发效能定义及核心价值 从研发效能的核心价值我们可以看到规范、流程、标准、工具、度量和实践等组成了研发效能的系统工程体系,而这正是技术治理涉及的方面,比如制定相应的研发规范、梳理相关流程等。 这些技术类规范需要各种平台的支撑,其中涉及产研部分很大程度上需要研发效能团队的支持。
对于研发效能这个业务,如果没有对外 toB 业务,那么我们面对的主要是内部用户,我比较推荐的策略是产运一体,本来产品和运营也是不分家的,在运营人员比较少的情况下甚至是部分产品来兼任。 研发效能平台如何运营? 内容运营 内容运营是一个深挖研发效能产品的功能,提炼成场景,让用户对你的产品感兴趣,把用户和产品连接起来并产生互动,促进用户使用产品的过程。简单说就是拉客。 对于研发效能的产品来说,对内的话其实你的用户上限是确定的,不会超过公司的员工总数。但我们还是有很多让用户了解我们的产品,激活用户的运营工作去做。 因为是对内,所以每当我们研发效能平台有重大升级、重大改版的时候,我们都会做一次内容运营,包括产品内宣传、制作易拉宝、会议室屏保等。 用户运营 因为我们是对内的研发效能平台,不会有什么会员等级的功能,但是我们每周都会把我们系统中的用户筛一遍,把我们产品的重度使用用户(页面访问最多,任务卡片最多,占用资源最多,执行流水线最多等)加到我们的
图1 研发效能的“黄金三角” 研发效能的“黄金三角”由三部分组成,分别是效能实践、效能平台和效能度量,它们彼此独立,又相互关联。 其关联关系如下。 效能实践中的优秀实践可以固化、沉淀到效能平台;反过来,效能平台支撑效能实践的落地。 效能平台产生的大量研发数据形成了效能度量中的效能洞察;反过来,效能度量可以持续观测效能平台中产生的数据,进行下钻和深入分析。 效能度量中的洞察和分析结果可用于针对性地优化效能实践;反过来,效能实践可以给效能度量更多的输入,帮助其完善度量指标集和分析方法。 1 效能实践 研发效能实践地图如图2所示。 图2 研发效能实践地图 目标:提炼和采纳与上下文匹配的DevOps及效能提升实践。 价值主张:产品导向+工程卓越。
研发效能团队1号位 「火车跑得快,全靠车头带」。团队1号位的能力,基本上决定了这个团队的上限。所以我们在邀请1号位的时候要格外严格筛选。 案例分享:曾经听说过一位研发效能团队负责人,他之前从未做过研发效能工作,上级领导每次要求什么就都记下来,接着和团队下面每个人去聊。 这种情况我也见到过,对效能这块没想法,也不感兴趣; 纯纯的QA背景的人,可能更关注质量,但对支持产研工作本身的平台建设和实践可能关注少 做后台开发的人会好些,但是有可能对效能不感兴趣转去做公司主营业务 推荐阅读 产品经理,项目经理,FTO 高效能敏捷交付团队反思:特性团队(FeatureTeam)+Scrum 什么是研发效能? 研发效能定义及核心价值 研发效能生态完整图谱&DevOps工具选型必看 互联网公司研发效能/工程效率团队建设和规划 找到能做好研发效能的人
前言:随着2019年PCG各业务如火如荼的发展,急需提升的研发效能成为大家的关注点。由PCG研发部发起的一轮研发模式变革正在紧锣密鼓地席卷而来。 如果能有效的控制“不必要的浪费”,增加研发过程中的“有效活动”,就能有效的提升研发效能。效能的提升,离不开持续交付的理念。持续交付从本质上讲,就是希望端到端地去解决问题。 软件研发效能度量指标: ? 3 实践机制 研发模式变革活动的时间轴(2019年)如下: ? 总体思路为: ? 为了精准快速呈现各业务的研发模式变革结果,我们开发了EPS研发效能度量平台。可以自助获取分支管理、代码质量管理、持续集成等维度的评级结果以及代码、缺陷、需求等相关的团队与个人的研发效能度量指标数据。 我们会努力夯实基础研发环境与工具,搭建高效的研发生产体系,建设效能度量平台,让每位工程师的效能产出与质量透明可见。在DevOps转型之路上,我们一直在努力。 ?