- 综合排序
- 最热优先
- 最新优先
- 来自专栏PHP实战技术
大型网站技术架构！
网站都是从小网站一步一步发展为大型网站的，而这之中的挑战主要来自于庞大的用户、安全环境恶劣、高并发的访问和海量的数据，任何简单的业务处理，一旦需要处理数以 P 计的数据和面对数以亿计的用户时，问题就会变的很棘手 下面我们就来说说这个演变过程： 初始阶段 大型网站都是由小型网站演变而来的，网站架构也一样 小型网站最开始没有太多人访问，只需要一台服务器就绰绰有余，就像这样： ? 使用缓存后的 使用缓存后，数据访问压力得到了有效的缓解，但单一的应用服务器能够处理的请求连接数有限，在访问的高峰期，应用服务器又会成为网站性能的瓶颈 使用应用服务器集群改善网站并发处理能力 使用集群是网站解决高并发 文件系统和数据库系统分布式管理 使用 NoSQL 和搜索引擎 这两个方式都是依赖于互联网的技术手段，应用服务器通过一个统一的数据访问模块来访问各种数据，从而减轻应用程序有多个数据源的麻烦 ? 分布式 到这里，基本上大多数的技术问题都能得到解决，还有一些实时同步等具体业务问题也都可以通过现有的技术解决 小功能很简单，但是很实用，小伙伴们想玩更多的api，就可以参照上面的步骤自己去尝试吧！
2.3K80发布于 2018-03-09 - 来自专栏JAVA高级架构
大型网站技术架构
早期的网站为了节省成本一般会设计成集中式系统，应用程序、数据库等都部署在一台服务器上。 主要环节 业务拆分：将整个网站业务拆分成不同的应用，每个应用独立部署维护，应用之间通过RPC或消息队列通信。 使用 CDN，将网站静态内容分发至离用户最近的网络服务商机房，使用户通过最短访问路径获取数据。 可以在网站机房部署反向代理服务器，缓存热点文件，加快请求响应速度，减轻应用服务器负载压力 应用服务器端，可以使用服务器本地缓存和分布式缓存(网站性能优化第一定律：优化考虑使用缓存优化性能) 代码层面，也可以通过使用多线程 5、网站的安全架构 XSS 攻击和 SQL 注入攻击是构成网站应用攻击最主要的两种手段，此外还包括 CSRF,Session 劫持等手段。
1.8K30发布于 2018-07-20 - 来自专栏JAVA高级架构
大型网站技术架构
早期的网站为了节省成本一般会设计成集中式系统，应用程序、数据库等都部署在一台服务器上。 主要环节 业务拆分：将整个网站业务拆分成不同的应用，每个应用独立部署维护，应用之间通过RPC或消息队列通信。 使用 CDN，将网站静态内容分发至离用户最近的网络服务商机房，使用户通过最短访问路径获取数据。 可以在网站机房部署反向代理服务器，缓存热点文件，加快请求响应速度，减轻应用服务器负载压力 应用服务器端，可以使用服务器本地缓存和分布式缓存(网站性能优化第一定律：优化考虑使用缓存优化性能) 代码层面，也可以通过使用多线程 5、网站的安全架构 XSS 攻击和 SQL 注入攻击是构成网站应用攻击最主要的两种手段，此外还包括 CSRF,Session 劫持等手段。
2.1K60发布于 2018-04-19 - 来自专栏全栈程序员必看
大型网站技术架构演进_网站信息架构
出处：http://blog.csdn.net/anxpp/article/details/51614973 大型网站架构演化过程 1、初始阶段的网站架构 网站一开始，使用的人并不多，访问量比较小 而目前的缓存技术也比较多，常见的NoSQL数据库也常被用来当缓存工具使用，本地缓存也能借助一些框架实现，这时的架构如下： 03 使用缓存后，数据访问压力会大大减小。 07 这两种技术主要目的就是加速用户的访问，使数据返回更快，同时还能减轻后端服务器的负载压力。 在数据已经达到服务器不能支持的时候，就可以拆分业务，让他们使用的数据库服务器部署在不同的物理服务器上： 09 2.8、使用NoSQL和搜索引擎 通常使用NoSQL和搜索引擎技术来处理复杂的数据存储和检索
1K10编辑于 2022-11-16 - 来自专栏逸鹏说道
MVC5 网站开发之九 网站设置
网站配置一般用来保存网站的一些设置，写在配置文件中比写在数据库中要合适一下，因为配置文件本身带有缓存，随网站启动读入缓存中，速度更快，而保存在数据库中要单独为一条记录创建一个表，结构不够清晰，而且读写也没有配置文件容易实现 这次要做的是网站的基本信息，数据保存在SiteConfig.config。 一、网站配置类（SiteConfig） 1、在Nninesky.Core项目新建文件夹Config 2、在Config文件夹添加类SiteConfig。 红框部分为添加类型，说明了配置节的名称和类型，注意红线部分，restartOnExternalChanges设为"false"，如果不设置，配置文件修改后会重启网站。 图中红框部分为添加内容，指明SiteConfig的位置文件在网站目录Config文件夹下名为SiteConfig.config的文件。
1.5K50发布于 2018-04-10 - 来自专栏Python机器学习算法说书人
基于 Django 的个人网站（5）
<link rel="stylesheet" href="/static/css/bootstrap.min.css" integrity="sha384-Vkoo8x4CGsO3+Hhxv8T/Q<em>5</em>PaXtkKtu6ug<em>5</em>TOeNV6gBiFeWPGFN9MuhOf23Q9Ifjh 标签之前就可以起作用了，代码如下： <script src="/static/js/jquery.slim.min.js" integrity="sha384-J6qa4849blE2+poT4WnyKhv<em>5</em>vZF<em>5</em>SrPo0iEjwBvKU7imGFAV0wwj1yYfoRSJoZ DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>陈志豪的个人网站</title> <link > </head> <body>
陈志豪的个人网站 > </head> <body>
陈志豪的个人网站
1.1K20发布于 2020-05-27来自专栏零拷贝技术5、DMA 技术
在没有 DMA 技术前，I/O 的过程是这样的： 1、CPU 发出对应的指令给磁盘控制器，然后返回； 2、磁盘控制器收到指令后，于是就开始准备数据，会把数据放入到磁盘控制器的内部缓冲区中，然后产生一个中断 DMA 技术： DMA 技术，也就是直接内存访问（Direct Memory Access） 技术。 DMA 技术：在进行 I/O 设备和内存的数据传输的时候，数据搬运的工作全部交给 DMA 控制器， 而 CPU 不再参与任何与数据搬运相关的事情，这样 CPU 就可以去处理别的事务。 进一步将 I/O 请求发送给磁盘； 4、磁盘收到 DMA 的 I/O 请求，把数据从磁盘读取到磁盘控制器的缓冲区中，当磁盘控制器的缓冲区被读满后， 向 DMA 发起中断信号，告知自己缓冲区已满； 5、
65210编辑于 2024-03-10来自专栏sktj《大型网站技术架构》笔记
核心原理与案例分析 分为三个部分，应用区、文件区、DB区： 大型网站核心架构要素：性能、可用性、伸缩性、扩展性、安全性 WEB前端性能优化：减少http请求，合并CSS、合并JavaScript、合并图片 分布式缓存：memcached 消息队列异步处理 线程数量和CPU内核数成正比 RAID0：并发写入每块磁盘 RAID1：两块磁盘都写同样的 RAID10 RAID5： HDFS取代RAID 预发布服务器 攻击来自XSS攻击和SQL注入攻击 消毒、禁止页面JavaScript访问带有HttpOnly属性的Cookie CSRF：跨站点请求伪造 开源WAF，web应用防火墙：ModSecurity 信息加密技术 ：单向散列加密、对称加密、非对称加密 单向散列算法：MD5、SHA 对称加密：DES、RC 非对称加密：RSA 贝叶斯分类算法 秒杀系统的应对策略：秒杀系统独立部署、秒杀商品页面静态化、租借秒杀活动网络带宽
92420编辑于 2022-05-24来自专栏专注于java领域技术分析大型网站架构技术模型
一 网站技术架构设计模式 1.1 分层 如下所示网站基本分层 ? 三层架构逻辑上可以部署在同一台物理机上，但随着网站业务的发展，必须要对已分层的模块进行分开部署，也就是三层结构分别部署在不同的服务器上。使网站拥有越来越多的计算资源以应对越来越多的用户访问。 另一方面便于不同模块分布式部署，提高网站的并发能力与功能处理能力。 例如一个大型网站将购物，论坛，搜索，广告分割成不同的应用。由独立的团队负责部署在不同的机器上。 ，并采用独立的域名，即我们常说的网站的动静分离。 1.5 缓存 1.5.1 CDN 用户的请求总是先到达，他的网络服务商哪里，在这里缓存一些网站的静态资源，可以以最大的速度返回给客户，如视频或着门户网站会将访问量大的热点内容缓存到CDN。
1.5K30发布于 2020-09-08来自专栏ytkahpython识别网站所用技术
最近在学习一些python爬虫，我们要爬取一个站点，首先要去查看网站的robots协议，如果明确禁止抓取了要遵守，否则可能会带来麻烦。 第二步我们要知道网站是用什么技术做的，如何通过python的方法来识别呢？
91520发布于 2020-03-25来自专栏CSDNToQQCode黑客技术的网站
HackingLoops 二、XCTF_OJ 练习平台 三、SecurityTube（网络很慢，但是内容很精致） 一、HackingLoops 【https://www.hackingloops.com/】 这是一个博客网站 ，主要面向初级水平的黑客，网站上有许多非常有用的工具以及检验分享，包括渗透测试、测试实践、移动黑客等。 二、XCTF_OJ 练习平台 【https://adworld.xctf.org.cn/】 XCTF-OJ是由XCTF组委会组织开发，这是一个免费的在线网络安全网站，提供来自不同行业专业人士的培训材料和资源
1.6K20编辑于 2022-11-29来自专栏互联网技术栈读《大型网站技术架构》
序 《大型网站技术架构》是自己接触的第一本架构知识的书籍，还是在14年时买的实体书，前后读了几遍，颇有所得，后来实体书被朋友借走再没归还，也就没再翻过。 大型网站架构技术的核心价值是随网站所需灵活应对， 它是一个演化的过程 驱动大型网站技术发展的主要力量是网站的业务发展，是业务成就了技术，而不是相反。 因此要摒弃为了技术而技术的套路 网站架构设计误区 一味追求大公司的解决方案 为了技术而技术 企图用技术解决所有问题 2 架构模式 分层，这是在横向方向对系统进行切分 分层的挑战在于必须合理规划层次边界和接口 2个9是基本可用，网站年度不可用时间小于88小时；3个9是较高可用，网站年度不可用时间小于9小时；4个9是具有自动恢复能力的高可用，网站年度不可用时间小于53分钟；5个9是极高可用性，网站年度不可用时间小于 5分钟 网站高可用架构的设计目标是保证服务器硬件故障时服务依然可用、数据依然保存并能够被访问 网站高可用架构的主要手段：数据和服务的冗余备份以及失效转移，一旦服务器宕机，就将服务切换至其他可用的服务器上
1.4K20发布于 2018-12-12来自专栏Java实战博客MD5解密 解密网站
什么是MD5：可以产生出一个128位（16字节）的散列值（hash value） 也就是说MD5加密 会产生16位的字符串 百度说 这是不被认可为安全加密方式，可以被加以破解。 目前来说：市面上的MD5解密，一般都是采用碰撞的方式取解出来。 什么意思呢？ 我有密码a ，经过加密后 xxxxxxxxxxxxxxxx 添加到密码库中。 你用网站查 输入一个MD5加密的值，去取值。 网站1 https://www.somd5.com/ 然后输入你们加密值，解不了开就换个网站。 网站2 https://www.cmd5.com/ 可能会收费，不过，有需要，还是不错的 特殊说明： 解决问题的光鲜，藏着磕Bug的痛苦。 万物皆入轮回，谁也躲不掉！
5.1K10编辑于 2022-01-14来自专栏微信公众号：Java团长大型网站技术架构演化
何谓大型网站 ---- 大型网站系统特点： ? ps：符合这些要求的所谓大型网站真的很少，可遇而不可求也。 说到大型网站，就要先理一下大型网站的特点：高并发，大流量，高可用，海量数据等，本文根据《大型网站技术架构》一书整理如下: 初始阶段的网站架构 ---- 初始阶段都比较简单，通常一台服务器就可以搞定一个网站了 使用反向代理和CDN加上网站相应 ---- 提高网站的访问速度，主要手段有使用CDN和反向代理。 ? 搜素引擎也基本已经形成现在大型网站必须提供的功能了，网站需要采用一些非关系数据库技术如NoSQL和非数据库查询技术如搜索引擎。 具体到技术上，也会根据产品线话费，将一个网站拆分成许多不同的应用，每个应用独立部署维护。
98920发布于 2018-09-27来自专栏程序员有故事大型网站技术架构(二)--大型网站架构演化
何谓大型网站 大型网站系统特点： ps：符合这些要求的所谓大型网站真的很少，可遇而不可求也。 说到大型网站，就要先理一下大型网站的特点：高并发，大流量，高可用，海量数据等，本文根据《大型网站技术架构》一书整理如下: 初始阶段的网站架构 初始阶段都比较简单，通常一台服务器就可以搞定一个网站了，ssm-demo 使用反向代理和CDN加上网站相应 提高网站的访问速度，主要手段有使用CDN和反向代理。 使用NoSQL和搜索引擎 搜素引擎也基本已经形成现在大型网站必须提供的功能了，网站需要采用一些非关系数据库技术如NoSQL和非数据库查询技术如搜索引擎。 业务拆分 大型网站为了应对日益复杂的业务场景，通过使用分而治之的手段将真个网站业务拆分成不同的产品线。 具体到技术上，也会根据产品线话费，将一个网站拆分成许多不同的应用，每个应用独立部署维护。
2.7K60发布于 2018-03-15来自专栏全栈程序员必看网站技术分析工具：Wappalyzer
经常有人会问，这个网站使用什么技术搭建的？ AngularJS？Django？Jquery？还是什么呢？ 如果遇到这样的问题，建议你装一个这样的插件：Wappalyzer https://wappalyzer.com/ 比如CSDN： 比如 worktile： 参考 [Web] 一个插件告诉你，这个网站是基于什么技术开发的 网站技术分析工具：Wappalyzer 我在用和最喜欢的 Chrome 插件 – Wappalyzer – 探测网站使用的技术框架，库，服务器（强大） Wappalyzer帮你一步查明别家网站的技术栈 | 利器 Wappalyzer:网站技术分析插件 超好用分析网站工具- 利用Wappalyzer观察对手网站使用的技术 Wappalyzer：可识别网站的建站程序以及所使用的技术 发布者：全栈程序员栈长
2.5K10编辑于 2022-08-19来自专栏小二的折腾日记大型网站架构技术-演化
大型网站架构技术-演化 特点 高并发、大流量 高可用 海量数据 用户分布广泛、网络情况复杂 安全环境恶劣：易受攻击 需求变化快、发布频繁：为了快速适应市场 渐进式发展：逐渐进步发展 发展历程 初始阶段 使用缓存改善网站的性能 二八定律：80%的业务访问集中在20%的数据上，为了减少数据库的访问压力，可以将一些数据放到缓存服务器上，这样可以提高整个网站的数据访问速度。 采用应用服务器改善网站并发处理能力 当应用服务器处理不了较多的并发请求时，可以增加一台服务器分担原有的服务器的访问，在前面加一个负载均衡服务器。 使用反向代理和CDN加速网站响应 加速用户的访问。基本原理都是缓存，CDN是部署在网络提供商的机房，反向代理部署在网站的中心机房。 使用NoSQL和搜索引擎 网站业务越来越复杂，对数据存储和检索的需求也越来越复杂，需要采用一些非关系数据库技术和非数据库查询技术如搜索引擎。业务拆分 分而治之分布式服务
71530发布于 2018-09-30来自专栏月亮与二进制妄谈大型网站技术架构
演化历程 先说一说每个做web的同学都应该了解一下的网站发展演化的历程。这个历程是怎么样的呢？ 再就是不要为了技术而技术，当然对我们来说，很多时候就是想学习新技术，但在公司中真的有时候不一定最新的最火的就是最好的最适合你的，还是要根据需求来看。 最后，不要想着技术可以解决所有问题，有时候一个问题你要从技术层面来解决可能要费九牛二虎之力，但可能业务上稍微折中一点，换一种方式，也可以解决这个问题，而技术就可以省很大的力气，这样可能效果会更好。 指标 我们的标题是大型网站技术架构，那什么样的架构才是好的网站架构呢？我们从下面几个方面来考量它： 性能。性能是我们平常说的最多的，最直白的来说就是响应速度。 可用性。可用性是什么？ 参考书目：《大型网站技术架构：核心原理与案例分析》 查看作者首页
67920发布于 2021-11-23来自专栏蚂蚁开源社区大型网站技术架构，网站的高可用架构（三）
今天这篇文章，主要围绕着如何从多个方面来进行“高可用的网站架构”展开，网站页面能够完整呈现在最终用户面前，需要经过很多个环节，任何一个环节除了问题，都可能导致网站页面不可访问。 网络请求的情况千变万化，可能一个“突然来袭”的实时热点访问，就会把你的网站重重拖垮。 但对于网站整体而言，想要达到4个9甚至5个9的可用性，除了过硬的技术、大量的设备资金投入还需要有个好运气。 一般为了将网站的可用性指标转换成对应的责任度量下放到个人或者组织，我们一般使用“故障分”来对网站的单位时间故障进行加权计算，进而将责任分担下放到个人，加入其年度的绩效考核中。 相关阅读： 大型网站技术架构，初入探秘（一） 大型网站技术架构，网站的高性能架构（二）
1.5K30发布于 2019-08-12来自专栏蚂蚁开源社区大型网站技术架构，网站的高性能架构（二）
今天这篇文章，主要围绕着如何从多个方面来进行“高性能网站架构”展开，性能优化小到一行代码的重构，大到服务器集群的重新架构。怎样通过各项数据指标来监控网站的实时性能？ 找出网站的性能“弱点”，并以此为目标进行迭代式的优化，才能逐渐将网站架构达到一个高性能的水平。 ? 一、网站性能测试 网站的性能指标，既可以是开发人员客观的性能分析数据，测试指标。 一般而言，我们用如下指一些标来衡定一个网站的性能水平：响应时间、并发数量、吞吐量、性能计数器。 三、应用服务器优化 应用服务器主要用来处理系统业务，是整个网站架构中的核心，也是最复杂变化最多的部分。常用的优化手段有：使用分布式缓存（网站优化第一定律：优先考虑使用缓存。 但对于大量数据的存储需求，基于 MapReduce 可以进行并发任务处理的 HDFS 可能更加合适） 明天继续说，大型网站技术架构，网站的高可用架构（三） 相关文章 【必知】大型网站技术架构，初入探秘（
1.2K30发布于 2019-08-12
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号