- 综合排序
- 最热优先
- 最新优先
- 来自专栏五分钟学算法
10 大算法
什么是算法呢？ 简单的说，任何定义明确的计算步骤都可称为算法，接受一个或一组值为输入，输出一个或一组值。 1、有穷性，执行有限步骤后，算法必须中止。 2、确切性，算法的每个步骤都必须确切定义。 最早的数学算法可追溯到公元前1600年-Babylonians有关求因式分解和平方根的算法。 与早期的排序算法相比(如冒泡算法)，这些算法将排序算法提上了一个大台阶。也多亏了这些算法，才有今天的数据发掘，人工智能，链接分析，以及大部分网页计算工具。 02 傅立叶变换 和快速傅立叶变换 ? 链接分析算法一直是这个领域最让人费解的算法之一，实现方式不一，而且其本身的特性让每个实现方式的算法发生异化，不过基本原理却很相似。 你正在看的这个网页就是使用数据压缩算法将信息下载到你的电脑上。除文字外，游戏，视频，音乐，数据储存，云计算等等都是。它让各种系统更轻松，效率更高。 10 随机数生成算法 ?
52840发布于 2019-06-03 - 来自专栏卡尼慕
分布式共识算法
那么这里可以把问题定性为如何设计一套算法让所有节点当遇到分歧的时候能够达成一致。也就是基于异步通信的分布式共识问题。 同样，拜占庭将军问题也是一个类似的问题。这里的图片来自ppt。 ? 分布式 结点之间互相独立，互相不信任，不受中央控制。 共识 目标是所有成员达成一致的意见。 解决拜占庭将军问题 FLP不可能性定理 “在分布式异步通信的网络里，即便存在一个故障的节点，不存在可解决一致性的算法。” ，FLP不可能原理实际上告诉人们，不要浪费时间，去为异步分布式系统设计在任意场景下都能实现共识的算法。 但是！！！不存在任意情景下都适用的算法。但我们可以进行一些假设，来进行限制来简化问题。 总结一下 去中心化交易模型容易导致类似双重支付或者拜占庭将军问题出现，这些问题的实质都是基于异步通信下的分布式共识算法，理论上这个问题是无解的，而在实际操作中可以尝试简化问题，限制条件来找到一种成功率较高的解法
64620发布于 2019-09-09 - 来自专栏ACM算法日常
浅谈分布式算法
限于精力有限，只能带大家了解一下分布式的基本算法，不过相信这些对于以后在思考服务器结构时会起到比较大的影响。 可是等会大家就知道，分布式算法的基础是很简单的，即使对于raft这种比较好的一致性算法，可能只需要一个下午时间就能理解整个流程，相较于算法竞赛中的网络流之类的较为麻烦的算法，分布式的这些算法是比较简单的 分布式算法 分布式服务器的设计很多时候容易被程序员混淆，在我的理解上面，分布式服务器是能够横向扩展的，对于只是将功能分到不同模块的多进程做法，并不是分布式的做法。 但是在具体架构的时候又需要将功能划分为多个模块，每个模块可能是分布式结构，这个要具体问题具体分析。分布式通常分为分布式计算和分布式存储两大块，这两块的算法有比较大的差异，可以说是相互独立的。 总结 如果没有MapReduce和raft这些算法，自己去实现分布式的计算和存储，可能不怎么现实，看起来简单的东西，可能是数学行业几十年的沉淀与研究产生的结果，而且分布式算法并没有出现百花齐放的状况，也可以说明研究一种算法就已经很困难
2.5K30发布于 2020-05-11 - 来自专栏小白晋级大师
分布式系统学习10：分布式事务
这是小卷对分布式系统架构学习的第13篇文章，今天学习面试中高频问题：分布式事务，为什么要用分布式事务，分布式事务的实现方案有哪些，方案对比优缺点 1.知识体系 1.为什么要用分布式事务 单体架构时，以本地事务为例 而随着业务的增长，系统转变为分布式系统，原有的单体架构也拆分为多个微服务。 下单场景需要在多个服务间操作，需要保证所有操作都能成功，保证整个下单流程的数据一致性，就需要用到分布式事务了 2.理论 分布式理论的CP -> 刚性事务 遵循ACID，对数据要求强一致性 分布式理论的AP 同时在协调者和参与者中都引入超时机制，当参与者为收到协调者发送的commit请求后，也会对本地事务commit，不会一直阻塞等待 过程如下： CanCommit：协调者向所有参与者发生Cancommit命令，算法可以执行事务提交操作 Seata框架 开源的分布式事务解决方案，提供了AT、TCC、SAGA、XA事务模式，不需要自己手动实现分布式事务，直接使用框架就行 有以下几个角色： TC (Transaction Coordinator
29800编辑于 2025-01-26 - 来自专栏智能大数据分析
【深度学习优化算法】10：Adam算法
在AdaGrad算法中，我们通过对每个坐标缩放来实现高效计算的预处理器。 在RMSProp算法中，我们通过学习率的调整来分离每个坐标的缩放。 Adam算法将所有这些技术汇总到一个高效的学习算法中。 前者在实践中效果略好一些，因此与RMSProp算法有所区分。通常，我们选择 \epsilon = 10^{-6} ，这是为了在数值稳定性和逼真度之间取得良好的平衡。 data_iter, feature_dim = d2l.get_data_ch11(batch_size=10) d2l.train_ch11(adam, init_adam_states(feature_dim p.grad.data.zero_() hyperparams['t'] += 1 data_iter, feature_dim = d2l.get_data_ch11(batch_size=10 Adam算法在RMSProp算法基础上创建的，还在小批量的随机梯度上使用EWMA。 在估计动量和二次矩时，Adam算法使用偏差校正来调整缓慢的启动速度。
60810编辑于 2025-08-02 - 来自专栏数据科学与人工智能
【算法】10 种机器学习算法要点
小编邀请您，先思考： 1 你熟悉那些机器学习算法？ 2 你如何应用机器学习算法？ 常见机器学习算法名单 这里是一个常用的机器学习算法名单。 这些算法几乎可以用在所有的数据问题上： 线性回归 逻辑回归 决策树 SVM 朴素贝叶斯 K最近邻算法 K均值算法 随机森林算法 降维算法 Gradient Boost 和 Adaboost 算法 1、线性回归 更多请见：支持向量机的简化(http://www.analyticsvidhya.com/blog/2014/10/support-vector-machine-simplified/) 将这个算法想作是在一个 princomp(train, cor = TRUE) train_reduced <- predict(pca,train) test_reduced <- predict(pca,test) 10
74090发布于 2018-03-27 - 来自专栏林欣哲
10 分钟看懂分布式事务
什么是分布式事务 问题的引出 先看一张图，一个电商平台的架构图。 对于用户来说的一个创建订单的过程，背后很可能跨越了多个应用服务。 单一数据库可以简单的使用事务来保证一致性，但是分布式的问题则需要分布式的事务来控制数据的一致性。 分布式事务的产生的原因 数据库分库分表 由于单表的数据量巨大导致的分库分表，则会涉及到多个数据库的一致性问题。 应用SOA化 业务的服务化。 多个业务中心有各自的数据库，也会涉及多个数据库的一致性问题 事务的ACID特性 分布式事务本质也是一个事务，则需要满足ACID特性。 参考资料 分布式最终一致方案梳理，Bright Moon ‘ s Blog，https://www.cnblogs.com/BrightMoon/p/5622618.html 深入理解分布式事务,高并发下分布式事务的解决方案
1K50发布于 2018-04-17 - 来自专栏java开发的那点事
分布式ID生成算法-雪花算法
原因:为什么需要雪花算法 为什么需要分布式全局唯一ID以及分布式ID的业务需求？集群高并发情况下如何保证分布式唯一全局Id生成？ 低延迟：发一个获取分布式ID的请求，服务器就要快，极速。 高QPS：假如并发一口气10万个创建分布式ID请求同时杀过来，服务器要顶的住且一下子成功创建10万个分布式ID。 15, 20, 25 来源 Twitter的分布式自增ID算法snowflake 概述 Twitter的snowflake解决了这种需求，最初Twitter把存储系统从MySQL迁移到Cassandra Twitter的分布式雪花算法SnowFlake ，经测试snowflake 每秒能够产生26万个自增可排序的ID Twitter的SnowFlake生成ID能够按照时间有序生成。 结构 雪花算法的几个核心组成部分： SnowFlake可以保证： 所有生成的ID按时间趋势递增。
1.5K20发布于 2021-11-16 - 来自专栏Lixj's Blog
分布式id生成算法-snowflake算法
snowflake 算法是 twitter 开源的分布式 id 生成算法，采用 Scala 语言实现，是把一个 64 位的 long 型的 id，1 个 bit 是不用的，用其中的 41 bit 作为毫秒数 ，用 10 bit 作为工作机器 id，12 bit 作为序列号。
* SnowFlake的优点是，整体上按照时间自增排序，并且整个分布式系统内不会产生ID碰撞(由数据中心ID和机器ID作区分)，并且效率较高，经测试，SnowFlake每秒能够产生26万ID 这个时间并不是当前时间，而是当前时间的时间戳减去预先设置开始时间的时间戳得到的差值（当前时间 - 开始时间 = 时间戳差值） 10 bit：记录工作机器id，代表的是这个服务最多可以部署在2^10台机器上 但是10 bit里5个bit代表机房id，5个bit代表机器id。意思就是最多代表2 ^ 5个机房（32个机房），每个机房里可以代表2 ^ 5个机器（32台机器）。55420编辑于 2022-06-10 - 来自专栏焱融科技
分布式QoS算法解析
我们今天就来讨论一下分布式存储系统中的QoS算法。进入正题之前，我们先来了解背景知识，即什么是QoS，分布式QoS又是什么，有哪些常见的QoS算法。 比如系统能力是100，为高优先级业务数据库分配90，为低优先级的后台备份业务分配资源10。 02 什么是分布式QoS 那么QoS如何实现？ 我们似乎也无法在存储端做QoS算法，尤其是分布式并行文件系统，因为存储端各节点是分布式的，业务数据从不同client端发起，直接流向不同的存储端节点。 我们将这种场景称之为分布式QoS场景。 假设每个用户都连续地发请求，则根据公式，每个请求以1/w为间隔打标签，则： A用户请求的Weight标签序列为：2, 4, 6, 8, 10, ... 排序后为A2, B3, A4, A6, B6, C6, A8, B9, A10, B12, C12, A14, B15, A16, ...， 或简化成ABAABCABAABCABA。
2.6K20发布于 2020-09-03 - 来自专栏程序员升级之路
分布式ID算法&实现
一、为什么需要分布式ID 1、跨机房部署 如果数据库是跨机房部署，分布式ID是必须的，不然后续做数据分析和统计、跨机房路由会踩大坑。 2、海量数据 如果数据量可能会超出数据库自增ID类型最大值， 分布式ID也是必然面对的。 二、分布式ID的需求有哪些 先看下功能性需求 1、全局唯一 即不管是哪个机房生成的，全局必须唯一，不能和其它机房产生的值冲突 2、单调递增 保证下一个ID一定大于上一个ID 3、具有一定的安全性 三、常用算法有 1、snowflake（雪花）算法 生成一个64bit的数字，数字被划分成多个段：时间戳、机器编码、序号。 优点： 整个ID是趋势递增的。 高吞吐量。 在分布式环境下，每台机器上的时钟可能有偏差，有时候会出现不是全局递增的情况。 2、基于数据库 一般基于数据库，充分利用MySQL自增ID的机制。
1.4K30发布于 2020-09-11 - 来自专栏云计算与大数据
分布式｜算法再认识
CAP理论是Eric Brewer教授在2000年提出 的，是描述分布式一致性的三个维度，分别是指： （1）一致性（Consistency） 每次读操作都能保证返回的是最新数据；在分布式系统中，如果能针对一个数据项的更新执行成功后 CAP指出，一个分布式系统只能满足三项中的两项而不可能满足全部三项。 Raft 特性： 强领导者（Strong Leader）：Raft 使用一种比其他算法更强的领导形式。例如，日志条目只从领导者发送向其他服务器。 这种方式仅仅是在所有算法都需要实现的心跳机制上增加了一点变化，它使得在解决冲突时更简单和快速。 从Paxos到Raft，分布式一致性算法解析 Paxos和Raft的前世今生
37820编辑于 2022-03-14 - 来自专栏面试
分布式的共识算法
共识算法（Consensus Algorithm）是分布式系统中一个关键的概念，主要用于确保多个节点在分布式环境中能够就某一状态达成一致。 本文将深入探讨共识算法的基本原理、常见类型及其在实际应用中的重要性。 一、共识算法的基本原理 共识算法的核心在于解决分布式系统中的一致性问题。 它有点像在开会时，每个人都要互相验证对方是不是在说谎 ZAB 算法 ZAB 是 ZooKeeper 的底层共识算法，用于实现分布式锁和协调服务。 其他节点切换到Follower状态，并与Leader同步数据，确保所有节点的数据一致 假设这些服务器从id1-5，依序启动： 三、共识算法的应用场景 分布式数据库 在分布式数据库中，共识算法确保各节点的数据一致性 分布式文件系统 分布式文件系统（如 Google File System 和 HDFS）通过共识算法实现元数据的同步和一致性，确保文件系统在大规模分布式环境中的可靠性。
56010编辑于 2025-03-18 - 来自专栏算法工程师之路
每日算法题：Day 10
作者：TeddyZhang，公众号：算法工程师之路 Day 10, Linux知识点走起~ 1 编程题 【剑指Offer】顺时针打印数组 输入一个矩阵，按照从外向里以顺时针的顺序依次打印出每一个数字 ，例如，如果输入如下4 X 4矩阵：1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 则依次打印出数字1,2,3,4,8,12,16,15,14,13,9,5,6,7,11,10
65430发布于 2019-08-13 - 来自专栏大数据成神之路
分布式快照算法: Chandy-Lamport 算法
算法，那么分布式快照算法可以用来解决什么问题呢？ 下面就介绍一下在流式系统中广泛使用分布式快照算法：Chandy-Lamport 算法。Flink 使用的是 Chandy-Lamport 的改进算法。 1. 因为是分布式系统，也就是说，这些进程是运行在不同的物理机器上的。那么一个分布式系统的全局状态就是有进程的状态和 channel 中的 message 组成，这个也是分布式快照算法需要记录的。 总结 Chandy-Lamport 算法通过抽象分布式系统模型描述了一种简单直接但是非常有效的分布式快照算法。讨论 Chandy-Lamport 算法一定要注意算法的几个前提：网络可靠、消息有序。 System Leslie Lamport Homepage http://tele.informatik.uni-freiburg.de/lehre/ws01/dsys/Lectures/Lecture10
2.1K20发布于 2019-07-30 - 来自专栏苏三说技术
这10种分布式ID，真香！
7 雪花算法 Snowflake(雪花算法)是Twitter开源的分布式ID算法。 核心思想：使用一个 64 bit 的 long 型的数字作为全局唯一 id。 最高位是符号位，始终为0，不可用。 10位的机器标识，10位的长度最多支持部署1024个节点 12位的计数序列号，序列号即一系列的自增id，可以支持同一节点同一毫秒生成多个ID序号，12位的计数序列号支持每个节点每毫秒产生4096个ID序号 优点：算法简单，在内存中进行，效率高。高并发分布式环境下生成不重复ID，每秒可生成百万个不重复ID。基于时间戳，以及同一时间戳下序列号自增，基本保证ID有序递增。 最近整理了一份10万字的面试宝典，可以免费送给大家，获取方式加我微信：su_san_java，备注：面试。 8 Leaf Leaf是美团开源的分布式ID生成系统，它提供了两种生成ID的方式： Leaf-segment号段模式 Leaf-snowflake雪花算法 Leaf-segment号段模式，需要创建一张表
83510编辑于 2024-09-18 - 来自专栏函数式编程语言及工具
Akka（10）： 分布式运算：集群-Cluster
用Akka开发同一版本的分布式程序可以在任何硬件环境中运行,这样我们就可以确定以Akka分布式程序作为标准的编程方式了。 在上面两篇讨论里我们介绍了Akka-Remoting。 Akka-Cluster是基于Akka-Remoting之上的新一代分布式运算环境，所以Remoting已经成为了Akka-Cluster的内部支持功能，在生产环境中的分布式运算应该尽量使用Akka-Cluster 让编程人员可以更轻松自然的实现分布式编程。当然，更重要的是相对Akka-Remoting而言，Akka-Cluster提供了一整套更安全、更高效的分布式运算环境。 最终目的是能够把一个大型程序分割成多个子程序，然后部署到很多JVM上去实现程序的分布式并行运算。 由于在单一机器上就可以配置多个节点形成一个集群，我们开发的分布式程序可以在单机或多机群上运行，不同的只是如何部署和配置集群环境。
2.1K90发布于 2018-01-05 - 来自专栏仙士可博客
分布式学习九:Raft算法
raft算法 由于paxos算法难以理解,今天来理解下 "易于理解的一致性算法" raft raft本质是选举领导,领导进行管理日志,实现的一致性算法 选举领导 每个节点角色都会在以下几种切换: CD只能支持A 2:在投票僵持时,每个节点设置一个随机的超时时间并且重新选举, 例如A在选票相同时,100ms之后重新发起任期为2的选举,B在200ms之后发起任期为2的选举 日志复制 领导者负责整个分布式节点的数据复制同步 领导者向所有跟随者发送日志数据 3:跟随者记录数据更新,记录日志 4:跟随者确认接收数据,发送给领导者 5:领导者发送确认提交数据 如果领导者无法接收到半数以上的跟随者确认数据时,将判断这条数据插入失败 日志 在raft算法中
53640编辑于 2022-03-04 - 来自专栏CSDN搜“看，未来”
【C++】算法集锦（10）通俗讲kmp算法
---- 什么是KMP算法 它是一个字符串匹配算法。 KMP算法的优势 （就恨当初写kmp那篇的时候，没有留下图解，全篇文字铺开，现在我自己都看不懂了） 首先，给定 “主串” 和 “模式串” 如下： BF算法使用简单粗暴的方式，对主串和模式串进行逐个字符的比较 ，做了很多无谓的比较，还好，我们今天讲的不是这种算法。 next数组是决定kmp算法快速移动的核心。 好，我们来看一下next数组是如何生成的。 j = vec[j]; } } if (j >= pLen) return(i - j); return -1; } int main() { vector<int> vec1(10,0
98020发布于 2021-09-18 - 来自专栏分布式
分布式(计算机算法)
以下概念来源于百度百科分布式计算分布式计算是近年提出的一种新的计算方式。所谓分布式计算就是在两个或多个软件互相共享信息，这些软件既可以在同一台计算机上运行，也可以在通过网络连接起来的多台计算机上运行。 这样可以节约整体计算时间，大大提高计算效率 分布式计算比起其它算法具有以下几个优点：1、稀有资源可以共享；2、通过分布式计算可以在多台计算机上平衡计算负载；3、可以把程序放在最适合运行它的计算机上；其中 分布式和集群首先，从定义上看，分布式是将一个复杂的业务系统拆分成多个子业务系统，这些子系统被部署在不同的服务器上，通过网络连接并交换信息以协作完成一个业务。 最后，在性能和扩展性方面，集群在速度上可能更快一些，并且在相同规模下，集群的规模可能比分布式更大。然而，分布式在稳定性方面可能表现更好。 集群分布式和集群的应用场景 分布式应用场景分布式的主要应用场景在于单台机器无法满足性能要求时，需要融合多个节点来协同完成任务。这种情况下，节点之间需要有交互，共同处理业务。
76810编辑于 2024-08-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号