首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏大数据杂货铺

    ClickHouse 提升数据效能

    数据 虽然 ClickHouse 对我们来说是显而易见的选择,但作为一项测试活动,它实际上也是用于网络分析的数据库 - “Click”一词来自 Click Analytics,这是数据库开发的原始类似 相反,ClickHouse Cloud 通过小型集群以固定成本提供这些查询(例如每月 < 200 美元的开发层服务)。此外,BigQuery 通常会产生最小的查询延迟。 然而,我们的初始测试是在 ClickHouse 云开发层服务中执行的。这将存储限制为 1TiB,并在两个节点上提供总共 4vCPU 和 16GiB RAM,对于大多数组织来说足以运行上述解决方案。 因此,这可能允许开发层服务存储 = 420429 ( (1048576/(525*2)) * 421) 天或 1100 年的 GA4 数据。这对于我们的用例来说可能绰绰有余! 即使是比 clickhouse.com 大 100 倍的网站也应该能够在单个开发层实例中托管 10 年的数据。 *这是在进一步的架构优化之前,例如删除 Nullable。

    2.5K10编辑于 2023-12-05
  • 来自专栏大数据杂货铺

    ClickHouse 提升数据效能

    数据 虽然 ClickHouse 对我们来说是显而易见的选择,但作为一项测试活动,它实际上也是用于网络分析的数据库 - “Click”一词来自 Click Analytics,这是数据库开发的原始类似 相反,ClickHouse Cloud 通过小型集群以固定成本提供这些查询(例如每月 < 200 美元的开发层服务)。此外,BigQuery 通常会产生最小的查询延迟。 然而,我们的初始测试是在 ClickHouse 云开发层服务中执行的。这将存储限制为 1TiB,并在两个节点上提供总共 4vCPU 和 16GiB RAM,对于大多数组织来说足以运行上述解决方案。 因此,这可能允许开发层服务存储 = 420429 ( (1048576/(525*2)) * 421) 天或 1100 年的 GA4 数据。这对于我们的用例来说可能绰绰有余! 即使是比 clickhouse.com 大 100 倍的网站也应该能够在单个开发层实例中托管 10 年的数据。 *这是在进一步的架构优化之前,例如删除 Nullable。

    2.3K10编辑于 2023-12-05
  • 来自专栏大数据杂货铺

    ClickHouse 提升数据效能

    数据 虽然 ClickHouse 对我们来说是显而易见的选择,但作为一项测试活动,它实际上也是用于网络分析的数据库 - “Click”一词来自 Click Analytics,这是数据库开发的原始类似 相反,ClickHouse Cloud 通过小型集群以固定成本提供这些查询(例如每月 < 200 美元的开发层服务)。此外,BigQuery 通常会产生最小的查询延迟。 然而,我们的初始测试是在 ClickHouse 云开发层服务中执行的。这将存储限制为 1TiB,并在两个节点上提供总共 4vCPU 和 16GiB RAM,对于大多数组织来说足以运行上述解决方案。 因此,这可能允许开发层服务存储 = 420429 ( (1048576/(525*2)) * 421) 天或 1100 年的 GA4 数据。这对于我们的用例来说可能绰绰有余! 即使是比 clickhouse.com 大 100 倍的网站也应该能够在单个开发层实例中托管 10 年的数据。 *这是在进一步的架构优化之前,例如删除 Nullable。

    2K10编辑于 2023-12-05
  • 来自专栏研发效能EE

    如何快速提升团队软件开发成熟度,提升研发效能

    今天一个小伙伴问我,如何「快速提升」一个团队的软件开发成熟度?我犯难了。我个人理解一个团队的软件开发成熟度涉及的东西很多,但最简单最直接的方法就是发钱涨工资,可是估计很多公司不愿意,那就只有扣了。 快速提升的目标 短期制度解决 如果想短期快速提升,那就直接梳理好最关键点,制定规章制度,然后通过奖惩制度让大家遵守。这种做法成本不高,也许还能创收给团建攒点经费。 效能不好 K 他就行,团队内合作不畅 K 他,结果不满意 K他。经过一段时间团队产研效能就有所提高。K 他之前记得授权,别瞎 K。 不合理的团队组织架构和混乱不清楚的工作边界往往是产研团队效能低下的根本问题,且这个问题往往不能自查或不愿意承认。 然后,我们帮各个 FTO 梳理团队内一个个的流程和规范,对团队内的每个成员进行培训,把流程和规范融入到产研协作流程的过程中,针对目前最痛的点设置成检查点,从流程和关键点提高团队的研发效能

    69180编辑于 2022-11-02
  • 来自专栏软件测试架构师俱乐部

    软件研发效能提升实践

    发起公司级效能度量委员会并制定度量指标体系;而且在技术社区持续活跃,在各类综合性/专业性技术大会中担任出品人等角色,对互联网大厂的研发效能提升思路和做法有一定的理解,因此,把这些经验总结起来,形成了一个具有增强回路效果的研发效能提升体系 比起多完成几个小功能,也许工程和技术上的提升所带来的价值会更大。就像微软CEO萨蒂亚·纳德拉所说:“每一天我都在开发新特性和提升我们的生产力之间进行权衡。” 比如,以某一产品为主线贯穿DevOps流程,方便用户管理产品的相关需求,创建特性分支,迭代开发和交付。同样,以应用为主线对运维人员来讲会更加友好。 促进高效能的组织、结构和个人能力提升的模型是怎样的? 研发效能如何进行规模化扩展? 研发效能的支撑工具如何选择和落地? 各个行业研发效能提升的综合案例有哪些? 本文摘自《软件研发效能提升实践》一书,欢迎阅读本书了解更多相关内容。

    1.7K20编辑于 2022-09-20
  • 来自专栏架构之家

    关于研发效能提升的思考

    研发效能提升是最近比较热门的一个话题,本人根据这几年的工作心得,做了一些思考总结,由于个人深度有限,暂且抛转引入。 研发效能提升,也就是要提高投入产出比,既要增加产出,也要减少消耗。 工具,即道具、器械,对应“器”。选对工具很重要,趁手的工具往往能起到事半功倍的效果。 按照敏捷宣言,个体和交互胜过流程和工具,人的因素是最重要的,但人的思想在短期内又无法提升,需要长期不断投入。 第三个要素:工具 工具是三个因素中最容易实现的,可以购买现成的,也可以企业自己开发,比如业界常用的有Jira、TFS、禅道、Tembition等,可以根据自身需求导入。 ,好的工具必须是符合企业文化,并能促进流程的自我改良的 工具和度量 度量是研发活动的镜子,只有完善的度量体系,才能清晰知道哪里存在弱项,哪里是我们改进的重点 缺少度量,研发过程必然不可见,更谈不上如何提升研发效能

    86120编辑于 2022-07-12
  • 来自专栏博文视点Broadview

    腾讯会议后台研发效能提升之路

    下面介绍腾讯会议在研发效能项目中的实践经验,希望对同样走在研发效能提升道路上的你有所借鉴与帮助。 2021 年,腾讯 CSIG 技术委员 会研发效能提升组成立,腾讯会议作为第一批试点业务团队,正式启动了研发效能专项,目标是通过半年的专项共建提升团队的整体研发效能,下图是研发效能建设规划。 腾讯会议研发效能体系建设分别从开发域、测试域、部署域、运营域 4 个方面输出解决方案,对存在的问题逐个击破。 开发域的研发效能建设主要分为两个方向:标准化建设和工具建设。 随着腾讯会议规模的不断壮大,我们希望在研发效能方面做得更好,为业务的快速迭代提供支撑,也为更多需要进行研发效能提升的团队带来借鉴与参考。 以上内容节选自《软件研发效能权威指南》,这本书堪称研发效能领域的“百科全书”,涵盖了效能提升全生命周期的方方面面。

    2.7K31编辑于 2023-04-04
  • 来自专栏用户6296428的专栏

    「研发共建」提升中台效能初探

    作者:徐钰菡 | 效能改进 一、背景 在互联网行业,大部分研发团队都会通过建设中台(有些公司叫平台),来提高系统的可复用性,降低重复功能的研发成本。 效能平台资源分配设置的示意图 4. 中台通用能力产品功能拆分 优点:从产品的视角,明确了中台目标和业务目标之间的关系。 我们根据杨三角理论,认定协同中台的改进工作要从「提升组织能力」的层面出发,大致可以分为「技术框架、工具链支持、主观能动性」三个方面。 图4. 优点:业务子域团队无须再依赖中台,能够自闭环地工作,缩短了需求的等待周期,提升了业务项目的交付效率。同时,中台研发人员精力得以释放,不再受困于业务项目,可以投入更多资源完善中台能力。 如果读者想知道我们在共建(v2)阶段具体做了哪些改进来提升中台效能的,那就烦请坐等下回分解吧。如读者有中台协同相关的话题,欢迎在底部留言,我们做进一步交流。

    1.2K30编辑于 2022-04-06
  • 来自专栏黯羽轻扬

    如何提升前端基建的效能价值?

    写在前面 上一篇如何衡量工具平台的效能价值? 推导出了一种度量模型,通过具体的数据指标来衡量效能价值,让内部工具/平台的价值也能看得见、说得清 那么,对于正在做或者将要做的工具平台,如何进一步提升效能价值呢? 一.效能价值有哪些影响因素? 首先,工具的关键目标是解决实际问题: 工具总是为解决问题而生的 选定目标问题之后,接着通过工具化、平台化等自动/半自动的手段来尝试解决,并通过效率和体验两方面的提升体现出解决方案的效能价值: 效能价值 4 个因素: 问题规模 操作时间 易用性 稳定性 提升工具效能就是想办法增大分子、减小分母,即提升问题规模、易用性、稳定性,降低操作时间 二.如何提升问题规模? ,作为唯一选项自然不必考虑用户量的问题,例如小程序开发者工具 如果不具备强的不可替代性,就要通过其它手段来增加用户的替换成本,常用的策略有场景化运营、社区运营、内容运营等 场景化运营 ?

    84010发布于 2020-09-30
  • 来自专栏ThoughtWorks

    VUCA时代,敏捷团队如何提升效能

    一把手坚定支持并亲自推进,需求清晰明确且已文档化,合作各方已拉通目标且达成一致,三周后的今天,一把手换人了且目标需要修正,需求的内容和优先级需要推翻重来,新加入了三个合作方各有各的诉求,管理复杂度迅速提升 而应对变化最强有力的手段之一便是提高团队效能。 流程是为了保障信息透明和团队协作的流程,比如自主决定开发流程、沟通流程、决策流程、会议流程等;工具指的是团队选择的用来给项目带来效率提升的工具和实践,比如任务跟踪管理工具,自动化测试工具,沟通管理工具, 总结一下:提升效能是敏捷团队为了应对变化带来的挑战而采取的有效手段,为了保证团队发挥高效能,团队必须具有清晰一致透明的目标,必须挖掘动力通过自组织的方式进行管理,必须建设多样化的能力完成任务。 团队目标回答的是“要不要”,团队动力回答的是“想不想”,团队能力回答的是“能不能”,只有三个因素具备,团队才具备了高效能,而高效能回答的是团队做的“快不快”的问题。

    67840发布于 2021-08-23
  • 来自专栏腾讯技术工程官方号的专栏

    研发效能提升最佳实践的探索

    在团队协作专题,腾讯研发效能资深专家茹炳晟发表了题为《研发效能提升最佳实践的探索》的主题演讲。 ? 基于流程优化,打破各个环节看不见的墙,去除不必要的等待,提升价值流动速度正是研发效能试图解决的一大类问题。 ? 这页Slides是从软件开发、测试和发布的视角罗列了各个阶段研发效能提升需要关注的问题。 可以采用增量编译,甚至是分布式编译(Distcc和CCache)提升效率。 前端开发可以借助JRebel和Nodemon之类的工具使前端开发预览的体验更流畅。 从上面的描述我们可以看到,研发效能提升涉及的面很广,既有基于技术的,也有基于流程的,那么在实际工程实践中,我们又该如何来落地研发效能提升呢? 推荐一些衍生阅读,其中《测试工程师全栈技术进阶与实践》和《高效自动化测试平台设计与开发实战》分别是我2019年和2020年写的书,主要关注在软件测试效能提升上,同时也推荐朱少民教授的《全程软件测试(第

    3.1K34发布于 2020-08-27
  • 来自专栏测试技术圈

    研发效能提升,测试如何量化度量

    如何提高效能? 我们来看看来自京东的张乐大神的解答 ? 现有的研发效能度量方式不足 ? 研发效能度量的正确姿势 JD对软件研发效能的度量,以下两个基本原则为主: 1. 研发效能度量指标三个维度 交付效率、交付质量和交付能力,这些指标的提升需要组织进行管理、技术、协作等多方面的系统性改进。 ?

    2.8K10发布于 2019-12-19
  • 来自专栏FunTester

    软件研发效能提升实践【留言赠书】

    发起公司级效能度量委员会并制定度量指标体系;而且在技术社区持续活跃,在各类综合性/专业性技术大会中担任出品人等角色,对互联网大厂的研发效能提升思路和做法有一定的理解,因此,把这些经验总结起来,形成了一个具有增强回路效果的研发效能提升体系 因此,效能实践、效能平台和效能度量形成了一个彼此增强、迭代优化的回路,有效利用好这个增强回路可以帮助企业持续提升研发效能。 比起多完成几个小功能,也许工程和技术上的提升所带来的价值会更大。就像微软CEO萨蒂亚·纳德拉所说:“每一天我都在开发新特性和提升我们的生产力之间进行权衡。” 比如,以某一产品为主线贯穿DevOps流程,方便用户管理产品的相关需求,创建特性分支,迭代开发和交付。同样,以应用为主线对运维人员来讲会更加友好。 促进高效能的组织、结构和个人能力提升的模型是怎样的? 研发效能如何进行规模化扩展? 研发效能的支撑工具如何选择和落地? 各个行业研发效能提升的综合案例有哪些?

    1.1K20编辑于 2022-05-17
  • 来自专栏CODING DevOps

    腾讯会议后台研发效能提升之路

    下面介绍腾讯会议在研效项目中的实践经验,希望对同样走在研发效能提升道路上的你有所借鉴与帮助。   2021 年,腾讯 CSIG 技术委员会研发效能提升组成立,腾讯会议作为第一批试点业务团队,正式启动了研效专项,目标是通过半年的专项共建提升团队的整体研发效能。 研效建设规划 腾讯会议研发效能体系建设分别从开发域、测试域、部署域、运营域四个方面输出解决方案,对存在的问题逐个击破。 开发 开发域的研效建设主要分为两个方向:标准化建设和工具建设。 以前更新一次需要 5 分钟,现在只要 30 秒,开发人员的幸福感有了明显的提升。 基于云原生模式,会议的开发、测试、部署、运营等四个域的研发效能全面得到提升,也让腾讯会议在快速成长时得以保持敏捷的迭代节奏。 容器化历程 发布提速 腾讯会议发布提速的诞生来源于一次次对故障的总结。

    4.5K20编辑于 2022-11-18
  • 来自专栏CODING DevOps

    《软件研发效能提升实践》节选 —— 研发效能的规模化实践

    ,这也是为什么百人左右的研发团队在使用了恰当的工具后,可以在无指导的情况下,自行建立软件开发的节奏,快速获得整体效率的明显提升,但在千人规模的研发团队中,情况就不同了。 为了解决问题,运维团队会开发大量的运维工具,以保障在权限安全的情况下,开发人员可以获取必要的信息以解决线上的问题。 运维团队进行软件开发开发团队为线上稳定提供保障,因此开发团队与运维团队的职能边界受到了很大挑战。在开发团队与运维团队不由同一个管理者负责的情况下,这种职能边界的问题会演化成部门冲突。 研发效能部门的工作如何考核 “如果你无法度量他,就无法管理它”,百人级企业可以快速进行研发效能提升的核心在于对度量的需求小,业务模式简单,研发效能提升与变化可以在实际产出中明显地反映出来,不需要价值证明的过程 研发效能规模化提升的目标是减少人的不确定性对团队的影响,但这个过程离不开优秀人才的主导,这就需要懂业务、懂软件工程的人才切实地投身于研发效能规模化提升的研究上。

    2.1K00编辑于 2022-05-19
  • 腾讯智能体开发平台3.0:提升企业智能体应用开发与知识服务效能

    诊断企业智能体开发与应用瓶颈 企业构建智能体应用时面临三重核心冲突: 知识检索精度不足:单次文档召回匹配度低(原文“文档检索匹配度-0.2 +”),复杂问题需多次检索整合,人工梳理成本高; 复杂任务处理低效 :多文档/表格/问答对综合回复、跨文档筛选(如按时间/地区)需手动拆解,开发周期延长; 资源与稳定性风险:知识库问答“可能消耗较多token,确保余量充足避免欠费导致应用不可用”(据腾讯智能体开发平台 部署平台化智能体开发解决方案 腾讯智能体开发平台3.0(ADP3.0)提供全链路升级方案: 知识管理强化:新增“设置文档切分”“知识库Schema自动聚类”(非结构化数据超量时自动生成文件夹名称/摘要 优图精调模型(youtu-mrc-pro 16K文本推理、youtu-intent-pro 8K)、第三方模型(DeepSeek-V3.1 128K文本推理推荐、百川智能Baichuan系列); 开发调试优化 验证量化业务指标与应用价值 平台应用实现三类可衡量价值(据腾讯智能体开发平台3.0材料): 知识服务精度提升:通过youtu-reranker对召回片段二次排序,回答精细度优化(例:行政服务助手整合两次检索结果

    7810编辑于 2026-04-24
  • 来自专栏用户4624600的专栏

    百度研发过程效能提升

    效能提升,目前业务主流的改进方案集中在流程改进、测试效能提升、发布效率提升等方面,对于占到研发测试周期70%的研发过程如何开展效能提升工作缺少成熟的方案。 以下内容根据陈蕾老师在TesterHome社区与百度主办的测试之美《效能提升实践》主题技术沙龙直播现场所讲内容进行精简整理,大约5300个字左右。 而且整个测试周期跟开发周期的占比,我们可以看到基本上是达到了大概7:3的一个比例,对于整体的这个业务来说,我们如果想要再进一步的去提升整个业务交付效能的话,如果再持续去做测试环节的这种优化的话,也是逐渐达到一个优化瓶颈的状态 这个时候可能我们就面临两个选择: 测试环节去挖掘更多的可能性,把各个测试环节做到更极致,来进一步达到提升的目标; 以QA视角介入到研发编码的过程当中,然后尝试去提升这70%的这个量,来扩大我们整个效能工作能够影响到的天花板 目标就是赋能研发过程来提升开发阶段的编码测试和效率,基于上面的分析,我们把工具箱大概分成了 4 个方面的能力: 流程赋能,提供日程管理、流程辅助,智能客服的一些能力; 开发过程赋能,提供智能编码、代码检索

    87420编辑于 2022-12-03
  • 来自专栏Simon的技术专栏

    AI大模型辅助提升研发效能实践

    图片从实际研发流程的各个环节出发来分析和距离AI大模型对研发效能提升实践。 需求分析提取需求关键点自动提取关键需求和功能点:通过对需求文档的分析,自动提取关键需求和功能点,方便开发团队更好地理解项目需求。 图片性能测试和优化建议:对代码进行性能测试,并给出优化建议,提升系统性能。 这些协议或合同可能规定,生成内容的知识产权归属于AI系统的开发者、使用者或其他相关方。请注意,以上信息仅供参考,具体知识产权归属问题可能因具体情况而异。

    3.1K112编辑于 2023-05-22
  • 来自专栏博文视点Broadview

    研发效能提升的八项实践建议

    图  研发效能提升的八项实践建议 01 从痛点入手 研发效能提升八项实践建议的第一项,是“从痛点入手”。 很多时候,当我们手上拿着锤子的时候,看什么都像钉子。 比如,开发完成的时间不再依赖于开发人员手工填写,而是由Jenkins构建完成后自动填写,以保证所有过程数据的真实有效性,从而为后面的度量和改进提供可靠的信息输入。 通过这些专项的效率提升逐渐向管理层证明研发效能提升的实际价值,由此引起管理层对研发效能的重视,进而为管理层从上往下推进研发效能提升打下基础。 “接入研发效能平台的项目数”就是虚荣性指标,与之对应的可执行指标是“百分之多少的项目使用过研发效能平台来完成开发测试和发布流程”。 总而言之,我们需要的是雪中送炭,而不是锦上添花。 ▊《软件研发效能提升之美》 吴骏龙 茹炳晟 著 如果你想了解更多软件研发效能的系统知识和趣闻轶事,或正在从事软件研发效能相关工作,希望进一步深造学习,请不要错过这本《软件研发效能提升之美》。

    1.6K20编辑于 2023-04-19
  • 荣耀DataOps平台实现存储计算显著降本与开发效能全面提升

    企业面临大数据处理效率与成本管控的核心瓶颈:传统数据存储与计算资源消耗高昂,开发流程线下操作繁复,数据质量治理困难,难以支撑AI驱动的新型业务增长。 开发效能提升:DataOps开发平台覆盖数据全链路开发活动,业务活动在线数字化率提升50%,显著降低典型开发场景人天消耗。 数据治理精度提升:通过点位治理平台能力,注册上报一致率2025年目标90%,点位查找与共享流程效率提升30%,无用数据存储减少XX TB。 “通过三大协同与平台智能化建设,荣耀实现了业内最大规模离在线混合部署,数据开发效率与资源利用率获得显著提升。” 携手腾讯云推进多模态数据能力共建 面对多模态数据处理的技术薄弱点,荣耀2025年协同腾讯云大数据团队开展技术预研,引入EMR-Lance统一存储格式以降低多模态数据存储成本,采用EMR-Ray计算引擎提升处理性能

    8510编辑于 2026-04-16
领券