首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 【Transformer架构优化

    一、当前Transformer架构优化的主要方向 Transformer架构优化主要集中在注意力机制的计算效率上,目前主流分为线性注意力(Linear Attention)和稀疏注意力(Sparse O(N) 状态空间模型+硬件优化 超长序列 典型示例: 标准Attention:BERT-base的512token处理 线性Attention:Performer处理10万token基因组数据 稀疏 不同场景下的选型建议 长序列建模场景: 优先方案:线性Attention(如Cosformer)或SSM架构(如Mamba) 考量因素: 线性Attention需注意近似误差 SSM架构对硬件加速要求较高 优化方向: 选择性状态更新 硬件感知设计 内存压缩技术 部署案例: 移动端AI应用 边缘计算设备 实时推理系统 3. 混合架构实践建议 对于复杂场景可考虑: 分层处理:底层用SSM,高层用稀疏Attention 动态切换:根据序列长度自动选择计算模式 知识蒸馏:用大模型指导轻量架构

    35010编辑于 2025-12-18
  • 来自专栏大数据与微服务架构

    架构性能优化

    优化思路: 1、了解现状,发现问题 2、确定清晰的优化目标,分析现状与目标的差距并确认执行路线。 3、对系统进行拆分,分别对逻辑层(Web层、业务层、持久化层)和物理层(客户端、网络、应用服务器、数据库服务器)进行优化。 4、利用工具对系统进行监控和测试,并对监控结果进行分析 5、科学的对系统进行优化,需遵循一定的程序:监控/性能测试 -> 分析瓶颈 罗列瓶颈的原因 验证瓶颈因素 修改系统 确认是否达到优化目标。 影响性能的因素:CPU、内存、IO、网络或其他因素 找出主要瓶颈:先解决关键因素、再重复监控或测试验证 避免过度优化,一个修改一个瓶颈,不要对不需要的地方进行优化 提高CPU性能,写出更快的代码,设计出更好的算法 分层优化: 客户端优化 服务器优化 JVM优化 数据库优化 负载均衡优化

    65010发布于 2020-04-11
  • 来自专栏架构师之路

    12306系统架构优化

    12306系统架构优化 coolshell陈皓优化方案 原文:http://coolshell.cn/articles/6470.html 一、业务复杂度比对 (1)qq业务模型:只访问自己的数据 (2 结论:高并发下数据一致性是12306的痛点 三、前端优化 (1)负载均衡:DNS+CDN; (2)减少页面链接数:减少浏览器http并发连接,合并js,合并css,合并图标 (3)减少页面大小:带宽有限 ,压缩,分离图片服务 (4)页面静态化:同一时间查询相同车次的结果页面都是一样的,甚至可将静态化的文件放入/dev/shm下 (5)查询优化:票务结果显示“有/无”,而非具体数字,能大大简化逻辑 (6) 前端缓存:直接缓存动态页面 四、后端优化 (1)数据冗余:一个数据可以冗余存在多个表里,代价是一致性 (2)数据镜像:replication,仍然有一致性问题 (3)数据分区:分库,分表,分字段 (4) 2.3)缓存有票/无票状态 (3)前端缓存+防刷 (4)IO优化,几百万的订单而已 三、总结 缓存(查询结果静态化)是整个优化方案的核心 这个手段极其适用于符合这两个要求的场景: (1)查询频率远大于更新频率

    2.8K40发布于 2018-02-28
  • 来自专栏小手冰凉

    LAMP 架构深度优化

    ##############基于LAMP(LNMP)问架构深度优化---配置文文件################# 3、修改配置文件参数实现隐藏版本号 a、nginx隐藏版本号 syntax server_tokens 0 physical id : 1 physical id : 1 [root@LNMP application]# 可以按照physical数量设置,或者将目前数量*2 5、事件处理模型优化 详细查阅:http://nginx.org/en/docs/ngx_core_module.html 8、优化服务器名字的hash表大小 确切名字和通配符名字存储在哈希表中。 哈希表的尺寸在配置阶段进行了优化,可以以最小的CPU缓存命中失败来找到名字。 这就是对业务进行分离,在比较好的网站业务架构中,应该把资源文件,包括用户上传的图片,附件等的服务和程序 大多数公司的不安全的授权如下: 1)chmod -R 777 /sitedir(最不安全)

    96030发布于 2019-09-10
  • 来自专栏漫谈测试

    性能优化中的系统架构优化

    系统架构优化是性能优化的一个重要方面,它涉及到对整个IT系统或交易链上各个环节的分析与改进。通过系统架构优化,可以提高系统的响应速度、吞吐量,并降低各层之间的耦合度,从而更好地应对市场的变化和需求。 业务增长导致的性能问题推动架构的发展,系统架构的演变过程来分析系统性能与调优方式。系统性能优化的核心思想主要包括节约和平衡两个方面。 在程序无法优化的情况下,最直接的办法是增强机器性能。或者把web服务和APP服务拆分。同样虽则和业务的快速增长会继续出现性能瓶颈,尤其是以DB的性能瓶颈最常见。 为了满足性能要求,通常我们会进行性能优化,当我们进行单系统性能调优后仍然无法满足性能要求时,我们只有分而治之的方法,于是就有了集群架构方案。 三、分布式架构系统分层,系统服务化(SOA架构,微服务化等),服务分布式,DB分布式,缓存分布式及良好的水平扩展能力是当前分布式架构的典型特征。

    62610编辑于 2025-02-10
  • 来自专栏博文视点Broadview

    PostgreSQL逻辑优化——整体架构

    如果不是,那么又该如何对该查询树进行优化?而优化所使用的策略正是本节要讨论的重点内容,而且优化部分也是整个查询引擎的难点。 子链接(SubLink)如何优化?子查询(SubQuery)又如何处理? 在查询计划的优化过程中,对不同的语句类型有着不同的处理策略: (1)对工具类语句(例如,DML、DDL语句),不进行更进一步的优化处理。 与前面一样,PostreSQL也提供定制化优化引擎接口,我们可以使用自定义优化器planner_hook,或者使用标准化优化器standard_planner。 逻辑优化——整体架构介绍 在未使用第三方提供的优化器时,PostgreSQL将planner函数作为优化的入口函数,并由函数subquery_planner来完成具体的优化操作。 函数以查询树作为输入参数,并以优化后语句作为返回值。

    1.9K20发布于 2020-06-12
  • 来自专栏架构师之路

    秒杀系统架构优化思路

    《秒杀系统架构优化思路》 上周参加Qcon,有个兄弟分享秒杀系统的优化,其观点有些赞同,大部分观点却并不同意,结合自己的经验,谈谈自己的一些看法。 二、常见架构 ? 流量到了亿级别,常见站点架构如上: 1)浏览器端,最上层,会执行到一些JS代码 2)站点层,这一层会访问后端数据,拼html页面返回给浏览器 3)服务层,向上游屏蔽底层数据细节 4)数据层,最终的库存是存在这里的 ,mysql是一个典型 三、优化方向 1)将请求尽量拦截在系统上游:传统秒杀系统之所以挂,请求都压倒了后端数据层,数据读写锁冲突严重,并发高响应慢,几乎所有请求都超时,流量虽大,下单成功的有效流量甚小【 五、总结 没什么总结了,上文应该描述的非常清楚了,对于秒杀系统,再次重复下笔者的两个架构优化思路: 1)尽量将请求拦截在系统上游 2)读多写少的常用多使用缓存

    1.2K80发布于 2018-03-01
  • 来自专栏肉眼品世界

    Ceph 架构及性能优化

    对分布式存储系统的优化离不开以下几点: 硬件层面 硬件规划 SSD选择 BIOS设置 软件层面 Linux OS Ceph Configurations PG Number调整 CRUSH Map 其他因素 4、SSD SSD在ceph中的使用可以有几种架构 a、ssd作为Journal b、ssd作为高速ssd pool(需要更改crushmap) c、ssd做为tier pool 5、BIOS a、开启

    1.1K60发布于 2021-04-20
  • 来自专栏搜云库技术团队

    秒杀系统架构优化思路

    重点在于第二个问题,常规写法: 查询出对应商品的库存,看是否大于0,然后执行生成订单等操作,但是在判断库存是否大于0处,如果在高并发下就会有问题,导致库存量出现负数 二、常见架构 浏览器--->站点-- ->服务--->数据 流量到了亿级别,常见站点架构如上: 1、浏览器端,最上层,会执行到一些JS代码 2、站点层,这一层会访问后端数据,拼html页面返回给浏览器 3、服务层,向上游屏蔽底层数据细节 4 、数据层,最终的库存是存在这里的,mysql是一个典型 三、优化方向 1、将请求尽量拦截在系统上游:传统秒杀系统之所以挂,请求都压倒了后端数据层,数据读写锁冲突严重,并发高响应慢,几乎所有请求都超时,流量虽大 四、优化细节 4.1 浏览器层请求拦截 点击了“查询”按钮之后,系统那个卡呀,进度条涨的慢呀,作为用户,我会不自觉的再去点击“查询”,继续点,继续点,点点点。。。有用么? 五、总结 没什么总结了,上文应该描述的非常清楚了,对于秒杀系统,再次重复下两个架构优化思路: 1、尽量将请求拦截在系统上游 2、读多写少经量多使用缓存 3、Redis队列缓存 + mysql 批量入库

    90340发布于 2019-10-17
  • 来自专栏暴走大数据

    ClickHouse 数据存储架构优化

    在今年年初我们对几份数据的存储架构进行了改造,记录一下改造过程。 二、改造 1、数据A (1)旧架构 ? (2)新架构 ? 新架构其实改造不大,只是简单的把所有的表引擎改造成SummingMergeTree,然后在计算层面对三张表进行三次写入,这样既可把离线计算的逻辑去掉,简化了架构的逻辑,并且降低了计算机器的消耗。 2、数据B (1)旧架构 ? 这个存储架构的弊端就是中间过滤表就是多余的,占写入、占存储。

    1.9K20发布于 2020-08-28
  • 来自专栏架构师之路

    秒杀架构优化,产品折衷

    今天有朋友问我,说我的文章里,总是提“脱离业务的架构设计是耍流氓”。 每次都是架构根据业务折衷,有没有业务和产品由于技术难度太大来做折衷的? 当然有,当一个业务技术难度非常大的时候,可以通过业务和产品的优化,来简化系统架构。 以“12306车票秒杀”为例,秒杀业务架构难度大,业务和产品可以这么折衷: case 1 一般来说,下单和支付放在同一个流程里,能够提高转化率。 产品上可以优化为,一旦点击,不管系统是否返回,按钮立刻置灰,不给用户机会频繁点击。 case 4 一般来说,显示具体的库存数量,能够加强用户体验。 脱离业务的架构设计是耍流氓。 架构难度大,产品也应该折衷。 画外音:秒杀业务的架构优化讲过了,这次说产品上的优化。 兄弟,你的产品折衷了吗?或者,奇葩了吗? 欢迎分享你的故事。

    63640发布于 2018-07-27
  • 来自专栏架构师之路

    秒杀系统架构优化思路

    那我们怎么优化秒杀业务的架构呢? 二、优化方向 优化方向有两个(今天就讲这两个点): (1)将请求尽量拦截在系统上游(不要让锁冲突落到数据库上去)。 三、常见秒杀架构 常见的站点架构基本是这样的(绝对不画忽悠类的架构图) ? 这些优化都是结合 业务 来的,我之前分享过一个观点“一切脱离业务的架构设计都是耍流氓”架构优化也要针对业务。 五、总结 上文应该描述的非常清楚了,没什么总结了,对于秒杀系统,再次重复下我个人经验的两个架构优化思路: (1)尽量将请求拦截在系统上游(越上游越好); (2)读多写少的常用多使用缓存(缓存抗读压力); 浏览器和APP:做限速 站点层:按照uid做限速,做页面缓存 服务层:按照业务做写请求队列控制流量,做数据缓存 数据层:闲庭信步 并且:结合业务做优化 六、Q&A 问题1、按你的架构,其实压力最大的反而是站点层

    1.7K100发布于 2018-03-01
  • 来自专栏邵宗文的专栏

    大型网站架构优化

    导语:本次很荣幸能邀请到邵宗文为我们带来《大型网站架构设计及优化》主题分享。 邵宗文有10多年运营开发、海量运维和架构规划经验,精通海量服务的架构设计和自动化运维建设,目前专注于大数据,高并发的实践探索。 演讲嘉宾:腾讯网络媒体事业群 运维工程师 邵宗文 演讲主题:大型网站架构优化 [1499915795431_6408_1499915795697.JPG] [1499915803580_4407_1499915803891

    1.1K20发布于 2017-07-17
  • 来自专栏凯哥Java

    秒杀系统架构优化思路

    流量到了亿级别,常见站点架构如上: 1)浏览器端,最上层,会执行到一些JS代码 2)站点层,这一层会访问后端数据,拼html页面返回给浏览器 3)服务层,向上游屏蔽底层数据细节 4)数据层,最终的库存是存在这里的 ,mysql是一个典型 三、优化方向 1)将请求尽量拦截在系统上游:传统秒杀系统之所以挂,请求都压倒了后端数据层,数据读写锁冲突严重,并发高响应慢,几乎所有请求都超时,流量虽大,下单成功的有效流量甚小【 充分利用缓存:这是一个典型的读多写少的应用场景【一趟火车其实只有2000张票,200w个人来买,最多2000个人下单成功,其他人都是查询库存,写比例只有0.1%,读比例占99.9%】,非常适合使用缓存 四、优化细节 五、总结 没什么总结了,上文应该描述的非常清楚了,对于秒杀系统,再次重复下笔者的两个架构优化思路: 1)尽量将请求拦截在系统上游 2)读多写少的常用多使用缓存

    61920编辑于 2022-12-16
  • 来自专栏devops_k8s

    系统架构性能优化思路

    这篇文章重点还是谈已经上线的业务系统后续出现性能问题后的问题诊断和优化重点。 数据库的优化包括:优化数据库磁盘I/O、优化回滚段、优化Rrdo日志、优化系统全局区、优化数据库对象。 系统本身水平弹性扩展是否完全解决性能问题 第二个点也是我们经常谈的比较多的点,就是我们的业务系统在进行架构设计的时候,特别是面对非功能性需求,我们都会谈到系统本身的数据库,中间件都采用了集群技术,能够做到弹性水平扩展 比如我们常见的就是一个查询功能如果出现问题了,首先就是找到这个查询功能对应的SQL语句在后台查询是否很慢,如果这个SQL本身就慢,那么就要优化优化SQL语句。 因此如果要做全面的性能优化,对于软件代码的性能问题排查是必须的。

    1.8K60发布于 2020-12-01
  • 来自专栏EffectiveCoding

    架构视角的优化性能

    首先我们对于我们的系统进行层层剖析: 尤其是对于做工程的或者做业务的,我们的整体架构大多是分布式或者微服务架构,如果进行层级、调用链路的拆分通常是如上图所示。 系统设计的初期肯定会进行系统的定位分析及对应的边界划分,此时系统应该具备哪些功能、应该被哪些场景所使用就已经确定了,我们要做的就是对这部分内容进行预判,这应该是属于架构设计很核心的一部分,并且在设计的过程中 架构设计思路中有种思想叫做“演进式架构”,这里推崇的就是这个观点。 方案拆分而言 架构设计应该是一个“一锅出”的过程,一定要有一个上层指导,不要求每个子模块要用何种方案,但是一定要有明确的上层指导目标,这样在选择时就避免方向上的偏差,不至于每个子模块都是自己域内最合理的方案 性能分析工具 首先基础架构一定提供了足够全的分析工具,所在的公司也肯定有人在搞定针对基础架构的探测分析及业务系统分析的基础支持,找到对应的人,然后问他们。

    55120编辑于 2023-03-24
  • 来自专栏AI系统

    【AI系统】计算图优化架构

    本文将会介绍推理引擎转换中的图优化模块,该模块负责实现计算图中的各种优化操作,包括算子融合、布局转换、算子替换和内存优化等,以提高模型的推理效果。 .挑战与架构离线模块的挑战首先整体看下在离线优化模块中的挑战和架构,在最开始第一篇文章中已经跟大家详细的普及过,优化模块的挑战主要由以下几部分组成:结构冗余:神经网络模型结构中的无效计算节点、重复的计算子图 计算图优化现在来到了核心内容,离线优化模块的计算图优化。早在本文之前,AI 编译器的前端优化已经讲述了很多计算图优化相关的内容。 Extended 扩展优化扩展优化主要是针对特定硬件进行优化的。不同的硬件设备其架构和运行机制都有所不同,因此,相应的优化方式也会有所不同。 在讲述了图优化的相关方式之后,这些方法与架构优化模块的对应关系如下所示:Pre Optimize:主要使用最开始的 basic 优化方式Optimize:中间的部分主要可能会涉及到 basic 优化方式和

    62710编辑于 2024-12-06
  • 来自专栏超级架构师

    【云架构】通过新的优化视角查看云架构

    未充分优化且成本高昂的架构(云架构)也许确实有效,但它们可能会导致企业每周损失数百万美元,而大多数人对此一无所知。30种技术被用于12种可能更好的技术,而不为改变而设计意味着业务敏捷性受到影响。” 为什么大多数云架构都没有得到很好的优化优化的云架构实际上意味着什么?我在2020年10月定义了云架构优化的过程,并包括了一个要利用的高级模型。我甚至扩展了我的云架构课程,加入了这个概念,这个概念很快将在这里发布。 概括地说,云架构师应用了他们从书籍、视频、文章甚至我和其他专家报告技术应该如何利用的方法中学到的知识。架构师定义业务需求,然后将这些需求与最优化的解决方案相匹配。这是个好办法。 只是要知道,获得最优化架构仍然是艺术多于科学。有时你需要投资更多的技术,有时需要投资更少的技术。重要的是定义尽可能接近优化的内容。

    1K10编辑于 2022-03-08
  • 来自专栏数据和云

    架构设计】高并发IM系统架构优化实践

    摘要: 介绍如何设计一个稳定、高并发、消息保序的IM系统,以及如何通过使用存储层的高级功能来优化系统架构。 现有架构 1 确认消息模型 ? 上图展示这一消息模型 发送方发送了一条消息后,消息会被客户端推送给后台系统 后台系统会先存储消息 存储成功后,会推送消息给接收方的客户端 2 确认后台架构 ? 后台架构主要分为两部分:逻辑层和存储层。 逻辑层包括应用服务器,队列服务和自增ID生成器,是整个后台架构的核心,处理消息的接收、推送、通知,群消息写复制等核心业务逻辑。 新架构 上面两个问题的复杂度主要是由于需要消息严格递增引起的,如果使用了表格存储的主键列自增功能,那么上层的应用层就会简单的多。 使用了表格存储**主键列自增功能**后的新架构如下: ? 最明显的区别是少了队列服务和自增ID生成器两个组件,架构更加简单。

    2.6K60发布于 2018-03-07
  • 来自专栏【腾讯云开发者】

    架构师必备的服务架构性能优化大全!

    本文总结了在服务架构设计时,提升服务性能的 9 大常用办法,相信可以有效帮到你的日常工作。期待你的点赞转发收藏一键三连! 01、缓存 性能优化,缓存为王,所以开始先介绍一下缓存。 缓存在我们的架构设计中无处不在,常规请求是浏览器发起请求,请求服务端服务,服务端服务再查询数据库中的数据,每次读取数据都至少需要两次网络 I/O,性能会差一些,我们可以在整个流程中增加缓存来提升性能。 ,理解为什么要这样设计,这种设计有什么好处,后续我们在架构选型或者做服务性能优化时都会有一定的帮助。 此外性能优化方式也给出了具体的落地实践。 希望通过实际的应用例子加强对这种优化方式的理解。 此外要做服务性能优化,还是要从自身服务架构出发,分析服务调用链耗时分布跟 CPU 消耗,优化有问题的 RPC 调用和函数。 -End- 原创作者|孙加亮

    39611编辑于 2025-06-10
领券