- 综合排序
- 最热优先
- 最新优先
- 来自专栏技术一号位指南(小诚信驿站)
系统设计：网络爬虫的设计
需求 让我们设计一个网络爬虫，它将系统地浏览和下载万维网。网状物爬虫也被称为网络蜘蛛、机器人、蠕虫、步行者和机器人。 难度等级：难 1.什么是网络爬虫？ 可扩展性： 我们的服务应该以模块化的方式设计，并期望新的将向其添加功能。可能需要下载更新的文档类型 并在将来进行处理。 3.一些设计考虑 在网络上爬行是一项复杂的任务，有很多方法可以完成。 为了简单，我们现在假设只有HTTP（但是实际上不应该这样，因为很难将设计扩展到以后使用FTP和其他协议） 我们将爬网的预期页数是多少？URL数据库将变得多大？ 假设我们需要抓取10亿个网站。 设计分布式URL边界时，有以下要求： 1.我们的爬虫程序不应该通过从服务器下载大量页面而使服务器过载。 2.我们不应该让多台机器连接一个web服务器。 3.文档输入流： 我们的爬虫设计使相同的文档可以由多个处理模块。为了避免多次下载文档，我们缓存使用称为文档输入流（DIS）的抽象在本地创建文档。
6.9K243编辑于 2022-01-09 - 来自专栏虚拟化笔记
openstack网络设计-(二)underlay网络
惠伟：openstack网络设计-(一)试探zhuanlan.zhihu.com 接上次文章写起，先自己尝试设计openstack机房网络，拓扑如下： ? underlay网络全三层转发，spine和leaf之间路由BGP路由协议，利用等价路由做ECMP。
2.5K20发布于 2021-02-24 - 来自专栏有趣的django
10.socket网络编程
True: 7 conn, addr = server.accept() #阻塞 等待连接 8 print("new conn:",addr) 9 while True: 10 cmd.encode("utf-8")) #发送命令给server端 9 cmd_res_size = client.recv(1024) #接受server端发过来的命令结果信息长度 10 6 while True: 7 conn, addr = server.accept() 8 print("new conn:",addr) 9 while True: 10 6 while True: 7 conn, addr = server.accept() 8 print("new conn:",addr) 9 while True: 10 7 cmd = input(">>:").strip() 8 if len(cmd) == 0: continue 9 if cmd.startswith("get"): 10
1.1K70发布于 2018-04-11 - 来自专栏悠扬前奏的博客
Kafka-10.设计-复制
在短暂的故障转移期后，Kafka将在出现节点故障时仍然可用，但在网络分区存在时可能无法保持可用状态。
64820发布于 2019-06-16 - 来自专栏从零开始学 Web 前端
10 - JavaSE之网络编程
网络编程 网络通信协议分层思想 为什么要分层呢？ ---- 参考模型 OSI七层模型 物理层、数据链路层、网络层、传输层、会话层、表示层、应用层 TCP/IP参考模型 应用层、传输层（TCP/UDP层）、网络层（IP层）、数据链路层、物理层 我们今天要讲的主要是传输层 在TCP/IP协议中，IP层主要负责网络主机的定位，数据传输的路由，由IP地址可以唯一确定Internet上的一台主机。 而TCP层则提供面向应用的可靠的或非可靠的数据传输机制，这是网络编程的主要对象，一般不需要关心IP层是如何处理数据的。 可靠的传输是要付出代价的，对数据内容正确性的检验必然占用计算机的处理时间和网络的带宽。因此TCP传输的效率不如UDP高。
49240发布于 2018-08-31 - 来自专栏程序人生 阅读快乐
神经网络设计
．3 网络结构 2．3 小结 2．4 例题 2．5 结束语 习题 第3章 一个说明性实例 3．1 目的 3．2 理论和实例 3．2．1 问题描述 .3．2．2 感知机 3．2．3 hamming网络 3 参考文献 习题 第9章 性能优化 9．1 目的 9．2 理论和实例 9．2．1 最速下降法 9．2．2 牛顿法 9．2．3 共扼梯度法 9．3 小结 9．4 例题 9．5 结束语 参考文献 习题 第10 18．1 目的 18．2 理论和实例 18．2．1 hopfield模型 18．2．2 lyapunov函数 18．2．3 增益效应 18．2．4 hopfield网络设计 18．3 小结 18. 4 例题 18．5 结束语 参考文献 习题 第19章 结束语 19．1 目的 19．2 理论和实例 19．2．1 前馈和联想网络 19．2．2 竞争网络 19。 2．3 动态联想存储器网络 19．2．4 神经网络的经典基础 19．2．5 参考书目和杂志 19．3 结束语 参考文献 附录a 文献目录 附录b 符号 附录c 软件 索引
58620发布于 2018-10-10 - 来自专栏初见Linux
网络规划和设计
网络生命周期与软件工程中的软件生命周期类似，首先它是一个循环迭代的过程，每次循环迭代的动力都来自于网络应用需求的变更。其次，每次循环过程中，都存在需求分析、规划设计、实施调试和运营维护等多个阶段。 = 平均事务量大小 * 每字节位数 * 每个会话事务数 * 峰值用户数 * （1+增长率）/ 平均会话长度 四、逻辑网络设计 网络逻辑阶段要根据网络用户的分类和分布，选择特定的技术形成特定的网络结构 网络逻辑结构大致描述了设备的互联及分布情况，但是并不涉及具体的物理位置和运行环境。 1.逻辑网络设计工作 ① 网络结构的设计。 ② 物理层技术的选择。 ③ 局域网技术的选择与应用。 ⑤ 地址设计和命名模型。 ⑥ 路由选择协议。 ⑦ 网络管理。 ⑧ 网络安全。 ⑨ 逻辑网络设计文档。 2.分层化设计模型目的 ① 帮助设计者按层次的设计网络结构。 ④ 综合实际出发，进行设计。 五、物理网络设计 物理网络是逻辑网络的具体实现，通过对设备的具体物理分布、运行环境等的确定来确保网络的物理连接符合逻辑设计的要求。
1.3K20发布于 2020-08-05 - 来自专栏开源部署
OpenStack网络配置设计
OpenStack提供了丰富的网络配置环境，本文介绍设计云系统是对于网络部分需求的考虑和设计。 如果这次是首次在你的组织中部署云系统，在阅读完本章节后请和你的网络运维团队进行沟通，以便了解现有网络状况。 云系统使用的网络同普通系统所使用的网络部署方式不同，且有可能在部署时对于网络的连接性和网络策略造成影响。 网络管理 网络有效管理通常是一个重要的考虑项目(常见的如：分散的交换机和网络接口)。通过将系统管理和监控产生流量和实际云系统用户流量进行分流的网络管理方式可以减少对于用户使用的影响。 选择不同的网络管理管理方式会影响到你网络拓扑，所以需要谨慎选择合适方式。
1.9K10编辑于 2022-06-28 - 来自专栏FreeBuf
网络安全这10年
10年前，智能手机还没有广泛普及，Windows 7才刚刚发布，而网络安全更是一个小众的圈子，远非如今媒体记者笔下的常客。 从一个孤岛到一个自行其道的小世界。 网络安全这10年，风雨有过，辉煌有过，曾谷底呆过，也曾见高楼起。一群白帽子，从独行者，侠客，到归于企业麾下或是走出创业的一条路，他们为网络世界的安全而战。 一批网络安全企业，从0到1，见证网络安全走向合规和产业化，而穿插其中的，是这10年来一个个或许你还依稀记得的安全事件…… 2020年，网络安全再启程之际，笔者却想和你，再走一遍这10年。 而尘嚣过去，这场因为App开发者使用了第三方途径下载的Xcode开发环境（非Apple正规途径），而导致下载了被植入了恶意代码的iOS应用开发工具Xcode所引发的病毒事件，也让开发者在产品开发设计中对安全的重视程度提升 可以说，这一年，网络安全领域面临的威胁多种多样。 10年归0，2020年网络安全再启程！回顾20世纪的第2个十年，会发现，网络安全的一个个变革，似乎早就在10年间一个个看似普通的日子里埋下了伏笔。
1K20发布于 2020-02-20 - 来自专栏林德熙的博客
win10 uwp 网络编程
上面传输的头，Head=Head+length 中的第二个Head，包含 传输者id，当前传输是传输的消息最后一段还是中间,当前传输 是服务器第消息
63110编辑于 2022-08-09 - 来自专栏体验主义
导航设计的10种模式
导航设计的目的就是需要突出产品的核心，扁平化用户的任务路径。让用户能够顺利的在产品中畅行，让用户时刻清楚自己在应用中所处的位置，及如何前往目的页面。 移动端产品导航的设计没有最好之说，只有最合适，根据你的产品采取最合适的导航设计。 纵观应用市场上的APP，导航设计的模式总是几种的组合使用。下面我们来看一下常见的10种导航设计模式。 缺点： 不适合展现顶层入口框架； 容易形成界面内容过多，显得杂乱； 设计效果容易呆板。 ? 10 组合式 描述： 一个网站或者APP内不可能只用一种导航，通常都是组合来使用。在不同使用场景下根据实际需要进行选择。但是通常主导航会对这个产品的格调起决定性作用。 总结 1.底部tab式 2.顶部标签式 3.轮播式 4.宫格式 5.卡片式 6.抽屉式 7.下拉式 8.列表式 9.弹窗式 10.组合式 导航可能不单单只有这几种，可能大家的叫法也不尽相同。
5K40发布于 2020-04-08 - 来自专栏技术客栈
Java设计模式（10）代理模式
前言 在软件开发的世界里，设计模式如同一本精妙的编码诗集，已经成为一种标准的编程实践。在Java编程中，设计模式很重要。 本人将制作一个关于Java设计模式的系列文章，总共23种设计模式将以一篇一篇文章讲解，代码笔记已开源：Gitee点击跳转。在上一篇《Java设计模式（9）享元模式》文章中，我们介绍了享元模式。 代理模式 在代理模式中，一个类代表另一个类的功能，这种类型的设计模式属于结构型模式。代理模式通过引入一个代理对象来控制对原对象的访问。
26010编辑于 2024-07-03 - 来自专栏wayn的程序开发
10种微服务设计模式
微服务设计模式是一种指导微服务架构设计和开发的一系列原则和实践。微服务设计模式的目的是为了解决微服务架构中遇到的一些常见的问题和挑战，比如服务划分、服务通信、服务治理、服务测试等。 微服务设计模式可以帮助我们构建出高效、可靠、可扩展、可维护的微服务系统。 1. 这种模式可以简化客户端的逻辑，减少网络开销，保护后端服务，以及实现不同级别的 API 接口。 由于微服务之间需要通过网络进行通信，因此可能会遇到网络故障、超时、拥塞等问题，导致远程调用失败或延迟。 10. BFF 模式 BFF 模式是一种为前端定制的后端的模式，它的全称是 Backend for Frontend。
60620编辑于 2023-08-28 - 来自专栏wayn的程序开发
10个微服务设计模式
微服务设计模式是一种指导微服务架构设计和开发的一系列原则和实践。微服务设计模式的目的是为了解决微服务架构中遇到的一些常见的问题和挑战，比如服务划分、服务通信、服务治理、服务测试等。 微服务设计模式可以帮助我们构建出高效、可靠、可扩展、可维护的微服务系统。 这种模式可以简化客户端的逻辑，减少网络开销，保护后端服务，以及实现不同级别的 API 接口。 由于微服务之间需要通过网络进行通信，因此可能会遇到网络故障、超时、拥塞等问题，导致远程调用失败或延迟。 10. BFF 模式 BFF 模式是一种为前端定制的后端的模式，它的全称是 Backend for Frontend。
92921编辑于 2023-08-22 - 来自专栏阮一峰的网络日志
Javascript的10个设计缺陷
前几篇文章，我经常说Javascript的设计不够严谨，有很多失误。 今天的这一篇，前半部分就谈为什么会这样，后半部分将列举Javascript的10个设计缺陷。 1995年5月，设计方案定稿；10月，解释器开发成功；12月，向市场推出，立刻被广泛接受，全世界的用户大量使用。Javascript缺乏一个从小到大、慢慢积累用户的过程，而是连续的爆炸式扩散增长。 设计缺陷还没有充分暴露就成了标准。相比之下，C语言问世将近20年之后，国际标准才颁布。 二、Javascript的10个设计缺陷 ? 1. alert(1+10); // 11 alert("1"+"10"); // 110 如果一个操作项是字符，另一个操作项是数字，则数字自动转化为字符。 alert(1+"10"); // 110 alert("10"+1); // 101 这样的设计，不必要地加剧了运算的复杂性，完全可以另行设置一个字符连接的运算符。 7.
94381发布于 2018-04-12 - 来自专栏学习之路
【Linux网络#10】：Https协议原理
在整个传输过程中，只有在用户层数据是明文的，而网络中的传输数据始终处于加密状态。 HTTPS 也是一个应用层协议. 只是 在 HTTP 协议的基础上引入了一个加密层. 加密方式的定义？ 二、HTTPS 工作方案 既然要保证数据安全, 就需要进行 “加密”，网络传输中不再直接传输明文了, 而是加密之后的 “密文”. 由于中间的网络设备没有私钥, 即使截获了数据, 也无法还原出内部的原文, 也就无法获取到对称密钥(真的吗？) 这对密钥对就是用来在网络通信中进行明文加密以及数字签名的。 常见问题 为什么摘要内容在网络传输的时候一定要加密形成签名？ MD 5 特性 定长： 不论输入字符串的长度如何，生成的 MD5 值都是固定长度（16 字节或 32 字节）。
56010编辑于 2025-06-02 - 来自专栏猿人工厂
猿设计10——真电商之完整商品设计
嘿嘿似乎还有一定的距离，设计就是这样一个过程，不断的去回看之前的一些东西，从而发现遗漏的东西，查漏补缺。今天，我们一起来经历下这个过程，进一步完善商品系统的设计。 ? ? ? ? ? 额，到现在才发现这个问题，简直不可饶恕，要是真完成设计进入编码阶段，这个问题就搞大了。赶紧分析一下。 至于还不熟悉商品需求和设计是怎么从无到有地挖掘出来的朋友，为了方便你的理解，简易你看看之前的系列文章猿设计8——真电商之刷新你对商品的认识以及猿设计9——真电商之商品实体识别。 ? ? ? 嗯，看上去规格与包装的信息，似乎是可以和类目的属性有些联系，但是作为一个商品，除了我们之前抽取出来的销售信息之外，还有好多普通属性没有记录下来，考虑到系统设计的冗余性，商品和sku上应该体现出来。 在做设计工作的时候，也要有个度，懂得取舍之道，没有最完美的设计，只有最合适的道理。 ?
55120发布于 2020-07-28 - 来自专栏区块链入门
叶开：Token设计画布与10大设计模式
Token经济设计专家叶开，通过多年的企业实践经验总结而出的Token设计画布与10大设计模式，为企业提供最全面的实现参考。 而同时叶开也结合实践总结出了Token经济模式设计画布及10大设计模式。 我们构思了两种方法，一种是利用模式画布进行设计，一种是用传统的头脑风暴进行创新设计。 Token经济的10大设计模式 为了传统企业能够简单便捷的理解Token和Token的设计，叶开提炼了10类Token模式，这些模式可以帮助传统企业快速理解Token的变化和组合，并且可以作为模板来分析和套用自己企业相对应的 本文转载自《专访Token经济设计专家叶开：Token设计画布与10大设计模式》，版权属于原作者
98940发布于 2018-08-10 - 来自专栏虚拟化笔记
openstack网络设计-(一)试探
云上VPC和物理网络解耦，物理网络交换机统一管理，如果有耦合也是少数机架和交换机。 主机overlay和网络overlay 虚拟网络和物理网络解耦，物理网络纯三层互通，没有overlay虚拟网络二层不能互通，问题是用主机overlay还是网络overlay，主机overlay就是把encap 总结 任何东西说起来容易做起来难，有时间得一点一点想一点一点细化一点一点写，看有没有时间和能力把每一点细化出来单独成文章，好坏和成败在于细节中，魔鬼在于细节中，好的设计和方案肯定不是画画图吹吹牛，这简单那简单 ，这样一搞那样一搞就好了，嘴上说的只是代码中一个分支，真正写代码时各种情况都要考虑进去，很多分支，每个分支都有可能执行到都不能出问题，设计和方案要细化，最终要想象出代码有多少函数，每个函数多少个分支，如果自己想不出个大概样或者自己想代码时都觉得太复杂 ，那设计和方案就太扯蛋了，如果自己把代码想不出个模样，那别人实现起来就坑坑不息，上线了一定问题频出，并且定位问题困难。
1.8K20发布于 2021-02-24 - 来自专栏凯云实验室
ZX解读Filecoin网络设计
今天，协议实验室研究科学家Zixuan(ZX) Zhang 连发16条Twitter，以一种非常简洁的方式解读了Filecoin的经济模型和网络设计，其中也包含了ZX对Filecoin未来发展的思考和期许 4/15 承诺容量（Committed Capacity,CC）是存储提供者向网络提交存储容量（或存储空间），并周期向网络证明存储容量。 6/15 然而，Filecoin Plus交易的区块奖励倍数是10倍。 10/15 越来越多的矿工正在通过Filecoin Plus为网络开发应用、提供工具、并吸引新用户。 11/15 持续地以免信任的方式提交存储证明会带来加密计算开销。 13/15 Filecoin网络设计的目的是为矿工和客户提供更多选项和灵活性，以组成新的交互模式，而不是规定一种单一和僵化的模式。处方有时让人感觉不错，但从长远来看会伤害涌现和进化。涌现也需要时间。
51510编辑于 2022-04-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号