首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏大数据与微服务架构

    架构性能优化

    优化思路: 1、了解现状,发现问题 2、确定清晰的优化目标,分析现状与目标的差距并确认执行路线。 3、对系统进行拆分,分别对逻辑层(Web层、业务层、持久化层)和物理层(客户端、网络、应用服务器、数据库服务器)进行优化。 4、利用工具对系统进行监控和测试,并对监控结果进行分析 5、科学的对系统进行优化,需遵循一定的程序:监控/性能测试 -> 分析瓶颈 罗列瓶颈的原因 验证瓶颈因素 修改系统 确认是否达到优化目标。 影响性能的因素:CPU、内存、IO、网络或其他因素 找出主要瓶颈:先解决关键因素、再重复监控或测试验证 避免过度优化,一个修改一个瓶颈,不要对不需要的地方进行优化 提高CPU性能,写出更快的代码,设计出更好的算法 分层优化: 客户端优化 服务器优化 JVM优化 数据库优化 负载均衡优化

    69910发布于 2020-04-11
  • 【Transformer架构优化

    一、当前Transformer架构优化的主要方向 Transformer架构优化主要集中在注意力机制的计算效率上,目前主流分为线性注意力(Linear Attention)和稀疏注意力(Sparse O(N) 状态空间模型+硬件优化 超长序列 典型示例: 标准Attention:BERT-base的512token处理 线性Attention:Performer处理10万token基因组数据 稀疏 不同场景下的选型建议 长序列建模场景: 优先方案:线性Attention(如Cosformer)或SSM架构(如Mamba) 考量因素: 线性Attention需注意近似误差 SSM架构对硬件加速要求较高 优化方向: 选择性状态更新 硬件感知设计 内存压缩技术 部署案例: 移动端AI应用 边缘计算设备 实时推理系统 3. 混合架构实践建议 对于复杂场景可考虑: 分层处理:底层用SSM,高层用稀疏Attention 动态切换:根据序列长度自动选择计算模式 知识蒸馏:用大模型指导轻量架构

    45610编辑于 2025-12-18
  • 来自专栏YoungGy

    优化3】非线性优化

    凸集和凸函数 SOCP Guideline

    91660发布于 2018-01-02
  • 来自专栏小手冰凉

    LAMP 架构深度优化

    ##############基于LAMP(LNMP)问架构深度优化---配置文文件################# 3、修改配置文件参数实现隐藏版本号 a、nginx隐藏版本号 syntax server_tokens 详细查阅:http://nginx.org/en/docs/ngx_core_module.html 8、优化服务器名字的hash表大小 确切名字和通配符名字存储在哈希表中。 哈希表的尺寸在配置阶段进行了优化,可以以最小的CPU缓存命中失败来找到名字。 3gpp 3gp; video/mp2t ts; video/mp4 这就是对业务进行分离,在比较好的网站业务架构中,应该把资源文件,包括用户上传的图片,附件等的服务和程序 大多数公司的不安全的授权如下: 1)chmod -R 777 /sitedir(最不安全)

    1.1K30发布于 2019-09-10
  • 来自专栏架构师之路

    12306系统架构优化

    12306系统架构优化 coolshell陈皓优化方案 原文:http://coolshell.cn/articles/6470.html 一、业务复杂度比对 (1)qq业务模型:只访问自己的数据 (2 结论:高并发下数据一致性是12306的痛点 三、前端优化 (1)负载均衡:DNS+CDN; (2)减少页面链接数:减少浏览器http并发连接,合并js,合并css,合并图标 (3)减少页面大小:带宽有限 前端缓存:直接缓存动态页面 四、后端优化 (1)数据冗余:一个数据可以冗余存在多个表里,代价是一致性 (2)数据镜像:replication,仍然有一致性问题 (3)数据分区:分库,分表,分字段 (4) 排队的人只要看到自己前面的人公平的在减小,也会安心等待 曹政的和谐blog优化方案 原文:http://hi.baidu.com/ncaoz/item/9bdefa308f1bb7f3e7bb7a84 2.3)缓存有票/无票状态 (3)前端缓存+防刷 (4)IO优化,几百万的订单而已 三、总结 缓存(查询结果静态化)是整个优化方案的核心 这个手段极其适用于符合这两个要求的场景: (1)查询频率远大于更新频率

    2.8K40发布于 2018-02-28
  • 来自专栏漫谈测试

    性能优化中的系统架构优化

    系统架构优化是性能优化的一个重要方面,它涉及到对整个IT系统或交易链上各个环节的分析与改进。通过系统架构优化,可以提高系统的响应速度、吞吐量,并降低各层之间的耦合度,从而更好地应对市场的变化和需求。 业务增长导致的性能问题推动架构的发展,系统架构的演变过程来分析系统性能与调优方式。系统性能优化的核心思想主要包括节约和平衡两个方面。 在程序无法优化的情况下,最直接的办法是增强机器性能。或者把web服务和APP服务拆分。同样虽则和业务的快速增长会继续出现性能瓶颈,尤其是以DB的性能瓶颈最常见。 为了满足性能要求,通常我们会进行性能优化,当我们进行单系统性能调优后仍然无法满足性能要求时,我们只有分而治之的方法,于是就有了集群架构方案。 三、分布式架构系统分层,系统服务化(SOA架构,微服务化等),服务分布式,DB分布式,缓存分布式及良好的水平扩展能力是当前分布式架构的典型特征。

    80510编辑于 2025-02-10
  • 来自专栏python3

    mysql优化3

    3)配置示例 mysql> show variables like '%query_cache%' ; +------------------------------+---------+ | Variable_name

    78410发布于 2020-01-09
  • 来自专栏DDD

    架构架构3

    最近又看了几本关于架构的书籍,不禁回到原点:架构是什么?架构师职责是什么? 、架构决策以及设计原则 系统结构 实现该系统的一种或多种架构风格(比如微服务、分层和微内核) 仅仅描述结构并不能完整地诠释架构,还需要了解架构特征、架构决策和设计原则 架构特征 架构特征定义了系统的成功标准 架构特征满足三个标准: 1.明确非领域设计的某个注意事项2.影响设计的某些结构项3.是否对应用的成功至关重要 构架决策 架构决策定义了一组关于如何构建系统的规则,构成了系统约束,并指导团队哪些可以做, 它需要知识以及应用知识的能力 2.影响力用来衡量架构师在项目中应用技能后给项目或公司带来多大的效益 3.领导力确保了架构实践的状态能稳步向前推进,同时培养更多的架构师 能力模型 论能力模型,与开发人员之间对技术方向的侧重有所不同 避免瓶颈陷阱方法之一是将关键路径和框架代码委托给开发团队其他人员,然后着重于实现业务功能(一个服务),并且在1~3个迭代中完成。 如何保持编码能力和一定水平的技术深度呢?

    66730发布于 2021-11-12
  • 来自专栏搜云库技术团队

    秒杀系统架构优化思路

    重点在于第二个问题,常规写法: 查询出对应商品的库存,看是否大于0,然后执行生成订单等操作,但是在判断库存是否大于0处,如果在高并发下就会有问题,导致库存量出现负数 二、常见架构 浏览器--->站点-- ->服务--->数据 流量到了亿级别,常见站点架构如上: 1、浏览器端,最上层,会执行到一些JS代码 2、站点层,这一层会访问后端数据,拼html页面返回给浏览器 3、服务层,向上游屏蔽底层数据细节 4 、数据层,最终的库存是存在这里的,mysql是一个典型 三、优化方向 1、将请求尽量拦截在系统上游:传统秒杀系统之所以挂,请求都压倒了后端数据层,数据读写锁冲突严重,并发高响应慢,几乎所有请求都超时,流量虽大 四、优化细节 4.1 浏览器层请求拦截 点击了“查询”按钮之后,系统那个卡呀,进度条涨的慢呀,作为用户,我会不自觉的再去点击“查询”,继续点,继续点,点点点。。。有用么? 五、总结 没什么总结了,上文应该描述的非常清楚了,对于秒杀系统,再次重复下两个架构优化思路: 1、尽量将请求拦截在系统上游 2、读多写少经量多使用缓存 3、Redis队列缓存 + mysql 批量入库

    96940发布于 2019-10-17
  • 来自专栏暴走大数据

    ClickHouse 数据存储架构优化

    在今年年初我们对几份数据的存储架构进行了改造,记录一下改造过程。 二、改造 1、数据A (1)旧架构 ? (2)新架构 ? 2、数据B (1)旧架构 ? {TABLE}_5min_local 3、数据C (1)旧架构 ? 这份数据由于QPS高,所以不适合直接查询ClickHouse;并且由于量大,也不适合直接写入到ElasticSearch。 (3)在复制完所以历史数据后,先rename旧表名到旧表名_origin,再麻烦rename 旧表名_new 到 旧表名。这样子数据就完成了表的切换工作。

    2K20发布于 2020-08-28
  • 来自专栏肉眼品世界

    Ceph 架构及性能优化

    对分布式存储系统的优化离不开以下几点: 硬件层面 硬件规划 SSD选择 BIOS设置 软件层面 Linux OS Ceph Configurations PG Number调整 CRUSH Map 其他因素 3、网络 万兆网络现在基本上是跑Ceph必备的,网络规划上,也尽量考虑分离cilent和cluster网络。网络接口上可以使用bond来提供高可用或负载均衡。 4、SSD SSD在ceph中的使用可以有几种架构 a、ssd作为Journal b、ssd作为高速ssd pool(需要更改crushmap) c、ssd做为tier pool 5、BIOS a、开启 Kernel pid max echo 4194303 > /proc/sys/kernel/pid_max 2、设置MTU,交换机端需要支持该功能,系统网卡设置才有效果 配置文件追加MTU=9000 3

    1.2K60发布于 2021-04-20
  • 来自专栏架构师之路

    秒杀系统架构优化思路

    《秒杀系统架构优化思路》 上周参加Qcon,有个兄弟分享秒杀系统的优化,其观点有些赞同,大部分观点却并不同意,结合自己的经验,谈谈自己的一些看法。 二、常见架构 ? 流量到了亿级别,常见站点架构如上: 1)浏览器端,最上层,会执行到一些JS代码 2)站点层,这一层会访问后端数据,拼html页面返回给浏览器 3)服务层,向上游屏蔽底层数据细节 4)数据层,最终的库存是存在这里的 ,mysql是一个典型 三、优化方向 1)将请求尽量拦截在系统上游:传统秒杀系统之所以挂,请求都压倒了后端数据层,数据读写锁冲突严重,并发高响应慢,几乎所有请求都超时,流量虽大,下单成功的有效流量甚小【 五、总结 没什么总结了,上文应该描述的非常清楚了,对于秒杀系统,再次重复下笔者的两个架构优化思路: 1)尽量将请求拦截在系统上游 2)读多写少的常用多使用缓存

    1.3K80发布于 2018-03-01
  • 来自专栏博文视点Broadview

    PostgreSQL逻辑优化——整体架构

    如果不是,那么又该如何对该查询树进行优化?而优化所使用的策略正是本节要讨论的重点内容,而且优化部分也是整个查询引擎的难点。 子链接(SubLink)如何优化?子查询(SubQuery)又如何处理? 在查询计划的优化过程中,对不同的语句类型有着不同的处理策略: (1)对工具类语句(例如,DML、DDL语句),不进行更进一步的优化处理。 与前面一样,PostreSQL也提供定制化优化引擎接口,我们可以使用自定义优化器planner_hook,或者使用标准化优化器standard_planner。 逻辑优化——整体架构介绍 在未使用第三方提供的优化器时,PostgreSQL将planner函数作为优化的入口函数,并由函数subquery_planner来完成具体的优化操作。 函数以查询树作为输入参数,并以优化后语句作为返回值。

    2K20发布于 2020-06-12
  • 来自专栏架构师之路

    秒杀系统架构优化思路

    那我们怎么优化秒杀业务的架构呢? 二、优化方向 优化方向有两个(今天就讲这两个点): (1)将请求尽量拦截在系统上游(不要让锁冲突落到数据库上去)。 三、常见秒杀架构 常见的站点架构基本是这样的(绝对不画忽悠类的架构图) ? 这些优化都是结合 业务 来的,我之前分享过一个观点“一切脱离业务的架构设计都是耍流氓”架构优化也要针对业务。 五、总结 上文应该描述的非常清楚了,没什么总结了,对于秒杀系统,再次重复下我个人经验的两个架构优化思路: (1)尽量将请求拦截在系统上游(越上游越好); (2)读多写少的常用多使用缓存(缓存抗读压力); 问题9:就算处于业务把优化考虑“3k张火车票,只透3k个下单请求去db”那这3K个订单就不会发生拥堵了吗?

    1.8K100发布于 2018-03-01
  • 来自专栏架构师之路

    秒杀架构优化,产品折衷

    今天有朋友问我,说我的文章里,总是提“脱离业务的架构设计是耍流氓”。 每次都是架构根据业务折衷,有没有业务和产品由于技术难度太大来做折衷的? 当然有,当一个业务技术难度非常大的时候,可以通过业务和产品的优化,来简化系统架构。 以“12306车票秒杀”为例,秒杀业务架构难度大,业务和产品可以这么折衷: case 1 一般来说,下单和支付放在同一个流程里,能够提高转化率。 case 3 秒杀场景,由于短时间内并发较大,系统返回较慢,用户心情十分焦急,可能会频繁点击按钮,对系统造成压力。 产品上可以优化为,一旦点击,不管系统是否返回,按钮立刻置灰,不给用户机会频繁点击。 脱离业务的架构设计是耍流氓。 架构难度大,产品也应该折衷。 画外音:秒杀业务的架构优化讲过了,这次说产品上的优化。 兄弟,你的产品折衷了吗?或者,奇葩了吗? 欢迎分享你的故事。

    70840发布于 2018-07-27
  • 来自专栏邵宗文的专栏

    大型网站架构优化

    导语:本次很荣幸能邀请到邵宗文为我们带来《大型网站架构设计及优化》主题分享。 邵宗文有10多年运营开发、海量运维和架构规划经验,精通海量服务的架构设计和自动化运维建设,目前专注于大数据,高并发的实践探索。 演讲嘉宾:腾讯网络媒体事业群 运维工程师 邵宗文 演讲主题:大型网站架构优化 [1499915795431_6408_1499915795697.JPG] [1499915803580_4407_1499915803891

    1.1K20发布于 2017-07-17
  • 来自专栏devops_k8s

    系统架构性能优化思路

    /* 1.业务出现大并发的访问,导致出现性能瓶颈 2.上线后的系统数据库数据日积月累,数据量增加后出现性能瓶颈 3.其它关键环境改变,比如我们常说的网络带宽影响 */ 正是由于这个原因 数据库的优化包括:优化数据库磁盘I/O、优化回滚段、优化Rrdo日志、优化系统全局区、优化数据库对象。 4倍,即FullGC之后的老年代内存占用的3-4倍。 老年代的内存大小设置为老年代存活对象的2-3倍。 系统本身水平弹性扩展是否完全解决性能问题 第二个点也是我们经常谈的比较多的点,就是我们的业务系统在进行架构设计的时候,特别是面对非功能性需求,我们都会谈到系统本身的数据库,中间件都采用了集群技术,能够做到弹性水平扩展

    1.8K60发布于 2020-12-01
  • 来自专栏凯哥Java

    秒杀系统架构优化思路

    流量到了亿级别,常见站点架构如上: 1)浏览器端,最上层,会执行到一些JS代码 2)站点层,这一层会访问后端数据,拼html页面返回给浏览器 3)服务层,向上游屏蔽底层数据细节 4)数据层,最终的库存是存在这里的 ,mysql是一个典型 三、优化方向 1)将请求尽量拦截在系统上游:传统秒杀系统之所以挂,请求都压倒了后端数据层,数据读写锁冲突严重,并发高响应慢,几乎所有请求都超时,流量虽大,下单成功的有效流量甚小【 充分利用缓存:这是一个典型的读多写少的应用场景【一趟火车其实只有2000张票,200w个人来买,最多2000个人下单成功,其他人都是查询库存,写比例只有0.1%,读比例占99.9%】,非常适合使用缓存 四、优化细节 五、总结 没什么总结了,上文应该描述的非常清楚了,对于秒杀系统,再次重复下笔者的两个架构优化思路: 1)尽量将请求拦截在系统上游 2)读多写少的常用多使用缓存

    69520编辑于 2022-12-16
  • 来自专栏mathor

    枚举+优化3)——哈希表优化实例

    myset.insert(make_pair(a[i],a[j])); cout<<myset.size()<<endl; return 0; } 思考:优化 ,减少枚举变量,只枚举a[i]  如果我们只枚举a[i],比如a[i] = 3,那么如果存在数对(a[i],a[j] + k),假设我枚举数对里较小的值是3,那么根据差是2,较大的肯定就是5,所以,问题就变成

    67850发布于 2018-06-07
  • 来自专栏python3

    AS3性能优化

    本篇文章用来总结本人对AS3性能优化方面的认识及经验,可能会有一些错误,敬请不吝赐教.如果想了解更多,请参考ADOBE方面的相关只是介绍. 1,关于显示对象:     shape -> sprite <MyClass>(20); 3,关于对象池: 缓存一些相同的对象,以便于随时调用.这里强调一些事情:     ①:缓存的对象数目:很对情况下,读段时间这个对象可能要用10个,可能要8个,可能12个. 比 publie var $name的效率低.调用函数的成本高,当然这更符合OOP的思想,但不利于性能......还是用public字段吧. 9,关于显示对象的visible     很多时候,AS3程序员都喜欢把不用的显示对象设为 visible = false,这是可以的.但是从Flash Player方面来讲,Visible = false任然值得它去绘制,它比较笨.木有办法,那优化的方案就是,将其移出舞台了. 10,像素处理优化 : 当绘制像素时,使用BitmapData 类的相应方法即可进行一些简单优化

    1.2K10发布于 2020-01-10
领券