首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏老张的求知思考世界

    压测(1):认识压测

    前言 之前断断续续写过一些压测相关的技术文章,很多同学评价还不错。朋友建议我写个系列,基于自己的落地实践经验,对压测做个系统性的梳理总结。 13年之前,阿里每次为了准备双十一大促系统能平稳支撑,都要花4-6个月准备,然后大促结束后花2个月时间打扫战场。 定义:如何理解压测 PS:这里的定义是我基于自己对生产压测的了解和实践总结得来的,仅代表个人观点。 1、什么是压测? 流程:生产压测落地实践 生产压测的整个流程,大致可分为三个环节,每个环节的主要事项如下: 能力建设:生产压测能力演变历程 生产压测的本质是能力建设的技术工程,不是一蹴而就。 6、生产部分业务压测 的覆盖场景根据业务不同要覆盖的范围和难度也不一样,建议先从非核心业务开始落地做试点验证。

    3.8K30发布于 2021-10-14
  • 来自专栏王清培的专栏

    微服务架构—自动化测试设计

    还有一种情况也是合理的情况就是平台提供方需要调用业务方的接口,这里面有一般调用的 callback 接口、交易路上的 marketing 接口、配送 routing 接口等。 文章接下来的部分将展开 marketing-cloud 规则引擎 在打通测试路上的实践。 但是有一块我们一直没有重视的就是 压力测试 这块,在生产上进行的真实的压力测试需要解决很多问题,比较重要的就是 DB 这块,压测的时候产生的所有交易数据不能够参与结算、财务流程,这就需要借助 当然还有其他地方都需要解决,一旦打开压测开关,应该需要处理所有产生数据的地方,这是一个庞大的工程,但是也会非常有意思。 本篇文章只是我们在这块的一个初步尝试,我们会继续扩展下去,在下次产线压测的时候我们就可以借助现在的实践架构扩展起来。 作者:王清培 (沪江集团资深JAVA架构师)

    1.7K10发布于 2018-07-31
  • 来自专栏老张的求知思考世界

    压测(14):生产压测SOP

    ——来自百度百科 本篇文章要说的压测SOP,实际上就是我在实践压测的过程中,对实践经验和教训的一个总结。 压测(1):认识压测 压测(2):方案调研和项目立项 压测(3):技术改造和测试验证 压测(4):压测的价值是什么? 压测(5):生产压测实施流程 压测(6):确认范围和识别风险 压测(7):核心四问 压测(8):构建三大模型 压测(9):容量评估和容量规划 压测(10) :测试要做的准备工作 压测(11):聊聊稳定性预案 压测(12):生产压测必不可少的环节 压测(13):高可用和性能优化 再加上本篇的生产压测SOP思维导图,就是整个系列的内容。 最后,重申一下我对压测的部分认知: 压测是一个技术工程,而非单纯的测试手段; 压测只适用于部分企业和业务类型,而非一个银弹; 压测的落地并非一蹴而就,需要较好的技术基础设施建设做保障

    1.1K10编辑于 2022-09-02
  • 来自专栏老张的求知思考世界

    压测(5):生产压测实施流程

    前言 前面的几篇文章从生产压测的定义,内部立项和技术调研,聊到了测试验证以及压测的对企业业务和技术团队的价值,算是整体上的构建一个认知的概念。 从这篇文章开始,会进入具体的落地实践环节。 这篇文章中,我会介绍生产压测的落地实施流程,即每个环节要做什么事情。 四大阶段 如果将生产压测作为一个阶段性的技术项目来看,压测从开始到项目结束,需要经过四个阶段。 整体的实施流程图如下所示: 接下来我来为大家解密,生产压测落地实施,在不同的阶段都会做哪些事情。 筹备阶段 确定业务范围 一般来说线上实施线上压测之前,要明确本次压测需要验证的业务范围。 核心业务定义 出问题会影响其他业务; 流量较高且出现问题会影响整体业务目标的达成; 核心项目定义 前面提到了生产压测是个复杂的技术项目,那么如何定义这种技术项目呢?

    2.1K40编辑于 2022-04-01
  • 来自专栏老张的求知思考世界

    压测(6):确认范围和识别风险

    前言 上篇文章用了很长的篇幅讲述了压测从零开始落地实施的主要过程,其中在准备阶段是最耗费时间和精力的。 就像我在这个技术系列文章的开篇提到的一句话:“压测适合某一部分具有特定业务需求的公司,能否实施取决于是否有合适的组织管理能力和对应的技术架构”。 那么如何来确定压测涉及的范围呢? 4、识别核心接口 知道了核心应用以及核心的,那么核心的接口基本就可以梳理出来了。梳理出来的核心接口,一般也是我们在做压测时候的接口。 3、环境风险 压测,无论是在单独的性能测试环境进行单机单接口、单机单、单机混合压测,还是在生产进行压测,对环境的要求是比较高的,特别是生产环境,需要考虑的更多。 上面的内容就是在压测实施过程中,需要考虑的确定范围以及风险识别相关的内容,仅供参考。下一篇,我会和大家聊聊,关于核心梳理相关的一些技术细节,敬请期待。

    1.4K10编辑于 2022-04-01
  • 来自专栏瓜农老梁

    FA6# 观测平台设计点归纳

    引言 观测平台设计离不开基础数据的采集、提炼和呈现。本文就基础数据日志、指标、的采集原理进行梳理,如何将其关联最终提供辅助决策价值提点归纳。 一、数据采集 1.日志架构简图 统一日志: 标准化日志格式、ID透传、自定义检索标识 日志类型: 应用日志、中间件日志(RPC框架、消息、缓存、存储等)、网关日志、终端日志 收集策略: 例如根据 ,将核心、异常能实现高质量采集。 三、辅助决策 1.数据质量 指标埋点覆盖度 采样策略的多样性 日志清洗与提炼 2.告警质量 告警信息能包含从指标到以及日志的清晰关联与日志信息,提高决策能力 3.分析能力 沉淀问题分析的最佳实践库 ,将其自动化分析提升定位能力 4.自愈能力 基于分析能力,沉淀自愈策略 自愈策略的灵活配置 5.性能与稳定性 采集延迟、计算能力、查询性能 可视化观测平台自身的稳定性建设 6.可视化能力 可观测一站式

    80331编辑于 2022-01-04
  • 来自专栏OSChina

    跟踪zipkin

    --跟踪 sleuth zipkin --> <dependency> <groupId>org.springframework.cloud</groupId

    86820发布于 2020-04-24
  • 来自专栏D·技术专栏

    EagleEye追踪

    RpcID RPCId用调用顺序来递增。 阿里云相似产品:Tracing Analysis 效果图: ? image.png

    4.1K10发布于 2020-02-13
  • 来自专栏Java学习录

    Zipkin监控

    Zipkin是SpringCloud官方推荐的一款分布式监控的组件,使用它我们可以得知每一个请求所经过的节点以及耗时等信息,并且它对代码无任何侵入,我们先来看一下Zipkin给我们提供的UI界面都是提供了哪些信息 zipkin首页为我们提供了对于调用的搜索查询及展示的功能 ? 第二个选项卡里提供了历史数据的导入功能 ? 第三个选项卡里展示了各个微服务之间的关系 ? 我们再次回到首页,我们点开一个调用之后就会看到此次调用的详情 ? 现在我们点开详情中的一个service,可以看到此次调用在这个微服务中的详细信息。 ?

    3.8K00发布于 2019-04-18
  • 来自专栏vivo互联网技术

    Node.js 应用追踪技术——信息存储

    作者:vivo 互联网前端团队- Yang Kun本文是上篇文章《Node.js 应用追踪技术——信息获取》的后续。阅读完,再来看本文,效果会更佳哦。 本文主要介绍在Node.js应用中, 如何用信息存储技术把追踪数据存储起来,并进行相应的展示,最终实现基于业界通用 OpenTracing 标准的 Zipkin 的 Node.js 方案。 2.2 zipkin 架构官方文档上的架构如下图所示:为了更好的理解,我这边对架构图进行了简化,简化架构图如下所示:从上图可以看到,分为三个部分:第一部分:信息获取,我们不使用 zipkin 自带的信息获取 ,我们使用 zone-context 去获取信息第二部分:传输层, 使用 zipkin 提供的传输 api ,将信息传递给 zipkin第三部分: zipkin 核心功能,各个模块介绍如下: 三、Node.js 接入 zipkin3.1 搞定信息获取这个我在 《Node.js 应用追踪技术——信息获取》 文章中,已经详细阐述了,如何去获取信息。

    1.3K50编辑于 2023-02-06
  • 来自专栏数据猿

    美团的压测自动化实践

    同时,为了解决周期常态化压测过程中人力成本高、多个团队重复工作、压测安全不可控,风险高等痛点,我们提出了压测自动化的设想。 图1 自动化落地整体思路 另外,在压测的整个周期中,压测安全和压测有效性也是需要一直关注的质量属性。 图2 问题分析 最终,基于美团基础的压测平台Quake(在整个系统,主要提供流量录制、回放、施压的功能),设计并实现了自动化压测系统,为不同业务实施压测提效,并确保压测安全。 通过这些模块,为压测的整个流程提供支持,尽力降低业务部门使用压测的门槛和成本。 构建/比对:负责服务接口方法调用的构建、更新、存储。 通过系统自动构建的树结构方式的关系,可以辅助压测方对整个的梳理,它解决了以往梳理靠翻代码等低效手段,缺少视角无法做到完备梳理等问题。 ?

    3.1K21发布于 2019-11-20
  • 来自专栏老张的求知思考世界

    压测(7):核心四问

    前言 前面的文章介绍了压测的落地实施流程,其中有个环节我特别提到了它的重要性,同时这也是本篇文章的主题:核心梳理。那什么是核心?为什么要确定核心?如何进行核心梳理? 梳理核心的目的又是什么?这篇文章,我会给你答案。 什么是核心? 之前在一些线下沙龙分享或者线上直播时候,很多同学都会问我一个问题:什么是核心?好像这个词有种魔法,很难让人去理解。 这么说比较拗口,再直白一些就是:哪些接口会影响用户下单支付,哪些就是核心。 下面附一个常见的电商企业核心流程图,供大家参考。 为什么要确定核心? 流量模型 我在前面的文章《生产压测实施流程》中有提高转化技术指标的一个案例,这里再次回顾下: 客单价为500,单日GMV为10亿,那么支付订单量为10亿/500=200W; 假设日常支付订单量为 文末回顾 这篇文章主要聊了压测在备战阶段最重要的一件事,核心梳理。其中提到了流量模型相关的内容,下篇文章,我会以压测过程中需要梳理的三大模型为主题,为大家介绍它们。

    2K21编辑于 2022-04-01
  • 来自专栏老张的求知思考世界

    压测(4):压测的价值是什么?

    在开始真正的介绍落地实践过程以及相关案例之前,我想和大家聊聊,我对压测的一些认知,即:压测在技术团队中的定位,以及它的价值是什么。 业务和技术是什么关系? 压测对稳定性保障的价值 聊了这么多,回到文章顶部,我所要表达的内容,压测的价值是什么? 通过生产压测,可以串联稳定性保障的流程,解决线上系统稳定性保障面临的种种挑战,它所带来的价值如下: 总结回顾 这篇文章介绍了我对技术和业务关系的理解,线上稳定性保障面临的挑战以及压测在其中的价值 ,通过前面的几篇文章,从认识压测到项目立项以及技术调研和测试验证,我试图从另一个视角来为大家揭秘压测的另一面。 下篇文章,我会为大家介绍,压测落地实践的整体流程。

    1.7K20编辑于 2022-01-25
  • 来自专栏肉眼品世界

    轻松玩转监控

    什么是监控? ,为监控提供了理论指导。 我们只需要知道,优秀的监控组件会尽可能的遵循 OpenTracing 标准,以获得更好的通用性以及扩展性。 可选方案 ---- 监控组件如何获得相关的信息呢? 可观测性是一切自动化决策的基础,求最终目的是为一个复杂分布式系统所发生的一切给出合理解释。 构建多语言监控体系 ---- 除了Java语言外,ARMS还提供了PHP探针,PHP应用接入ARMS后,能够拥有和Java应用同样的监控体验。

    2.1K11发布于 2020-12-07
  • 来自专栏测试开发架构之路

    测试不是银弹

    测试,为什么不是银弹? 下面分析以下三个原因并结合几个场景说明阐述下: 成本高 自动化用例开发成本高 这点无需赘言,无论单体还是微服务,自动化成本都不低。 自动化成本更高,因为用例涉及到多域的流程编排,处理服务间各种异常重试情况(超时、网络异常), 各域的输出断言,这无疑大大增加一条用例开发成本。 针对这个场景,如果服务B域内自动化用例没有长字段校验用例,则很可能也发现不了,因为测试场景下有时候会把某域mock掉或者说上游造的测试数据不够多样性(毕竟测试角度从业务出发)。 综上,我们要正确看待测试,不能迷信于测试,觉得测试通过就没啥问题了。 要知道,测试更多从业务角度出发,不能覆盖所有潜在异常场景,二者可以相辅相成,但对于日常自动化回归,我认为做好域内测试自动化才是底盘,自动化没什么必要!

    65130编辑于 2022-08-01
  • 来自专栏CodeGuide | 程序员编码指南

    基于JavaAgent的监控五《ThreadLocal追踪》

    》,这篇文章是业内实现追踪的标杆和理论基础,具有非常大的参考价值。 目前,追踪组件有Google的Dapper,Twitter 的Zipkin,以及阿里的Eagleeye (鹰眼)等,它们都是非常优秀的追踪开源组件。 追踪(Dapper) 当业务程序代码在线上运行时,实例A、实例B、实例C,他们直接可能从上到下依次调用,为了能很好的监控程序的调用,我们需要对调用进行追踪监控。 -4cf6-8d80-5362dd7ea140 org.itstack.demo.test.ApiTest.http_lt1 测试结果:hi1 追踪:69cdf9d3-1f42-4cf6-8d80- 5362dd7ea140 org.itstack.demo.test.ApiTest.http_lt2 测试结果:hi2 追踪:69cdf9d3-1f42-4cf6-8d80-5362dd7ea140

    2.9K20发布于 2020-07-14
  • 来自专栏老张的求知思考世界

    再谈压测

    面临的挑战 除了上面所说的技术层面的问题,要开展压测,还面临如下的几点挑战: ①、由于压测涉及的系统及场景较多,因此需要跨团队沟通、跨系统协调改造,公司体量 越大,这一点难度就越大; ②、压测涉及的系统较多 不过压测的优点也很明显,比如:优化联络薄弱环节可以提高系统的可用性,容量规划可 以节省成本,提高效率。 开展前的准备工作 在开展压测之前,我们需要做哪些准备工作? 因此需要通过监控分析等手段,得到日常流量场 景、峰值流量场景下各系统的流量以及配比,进行一定的放大,来作为压测的流量参考模 型; ④、数据处理:压测通常在生产环境进行,所以防止数据污染是必须考虑的问题 要开展压测,那么一个合理高效可用的压测管理平台,是很有必要的,参考了很多 压测的设计思路,我个人的想法中压测平台的架构设计,主要由以下几部分组成: ①、Controller:主要任务为压测任务分配 具体的架 构设计图,可参考京东的军演系统ForceBot的架构设计,如下图: ? 完成了上面的工作,接下来就可以开展压测的工作了。

    96810发布于 2019-12-02
  • 来自专栏公共互联网反网络钓鱼(APCN)

    AI 驱动钓鱼邮件自动化攻击与防御研究

    摘要生成式 AI 技术的普及正推动网络钓鱼攻击从人工零散操作向工业化、自动化范式转型。 本文基于 2026 年 6 月 Axios 披露的 AI 自动化钓鱼攻击深度报道,系统剖析 AI 驱动钓鱼邮件攻击的技术架构、流程与产业化特征,拆解信息侦察、内容生成、载荷制作、投送分发的自动化实现机制 第三阶段为AI 原生自动化阶段(2025 年至今),生成式 AI 成为攻击核心引擎,实现自动化6 结论生成式 AI 技术的普及彻底重构了网络钓鱼攻击生态,推动钓鱼邮件攻击从人工零散操作向工业化、自动化范式转型。 本文基于 2026 年 6 月 Axios 披露的 AI 自动化钓鱼攻击深度报道,系统拆解了 AI 驱动钓鱼邮件攻击的产业化背景、技术实现与危害成因,明确了传统防御失效的核心是AI 生成内容特征消失

    16210编辑于 2026-06-28
  • 来自专栏码农沉思录

    使用 Skywalking 实现监控

    我们要拿到整个完整的,包括精确的响应时间,访问的方法、访问的 circle,访问的 Redis 的 key等,这些是我们在做分布式追踪的时候需要展现的一个完整的信息。 Skywalking 是去搜集数据,给出分析的结果,然后你可以去做自动化运维或者 DveOps 。我们搜集的是 JVM 数据,然后去做自动的、应用的 Top 发现,以及服务的依赖。 然后你的日志里会有 skywalking 调用的 ID ,这个调用的信息和这些日志是精确绑定的。 也就是说当 A 应用调 B 应用的时候,即使 A、B 应用不属于同一个系统的监控,但是它们都有分布式的追踪能力,他们这个是有办法让大家串起来的。 这里反映了 skywalking 追踪的核心概念以及我们做的事情,就是 skywalking 怎么采集调用

    2.5K20发布于 2020-02-12
  • 来自专栏Man_Docker

    监控pinpoint安装部署

    zookeeper/logs clientPort=2181 启动服务: /opt/zookeeper/bin/zkServer.sh start netstat -lntp| grep 2181 tcp6 配置快速启动脚本,启动命令:/etc/init.d/pp-col start ll /etc/init.d/pp-col -rwx--x--x. 1 webadmin webadmin 3064 Jun 6 ;; *) echo -e $TOMCAT_USAGE ;; esac exit 0 6、 6.1、配置快速启动脚本,启动命令:/etc/init.d/pp-web start ll /etc/init.d/pp-web -rwx--x--x. 1 root root 3064 Jun 6

    1.5K20编辑于 2022-06-15
领券