首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏网络

    Aerospike在实时竞价广告中的应用

    类似于图11-10实时决策流程。 图11-10 实时决策流程图 分别通过HDFS和HBASE对日志进行离线和实时的分析,然后把用户画像的标签结果存入高性能的Nosql数据库Aerospike中,同时把数据备份到异地数据中心。 本文摘自《深入分布式缓存: 从原理到实践》一书。 新书推荐:《深入分布式缓存》

    2.4K80发布于 2018-01-22
  • 把贵模型从所有环节请出来

    11-10 ChatGPT Desktop 与 Codex 的 --forward-ssh-agent,把活的 SSH 身份装进 agent 沙箱,泄漏的是凭证能力而非数据。 11-10/11 browser-use 1.0 以「CDP is all you need」删掉约八成库代码重写,默认行为大改,升级即迁移。 11-10/11 Fireworks AI 遭安全事件波及 Notion 及客户,第三方的 AI 供应商本身也会失陷。

    15810编辑于 2026-11-11
  • 来自专栏怡文菌

    Linux – 文件/目录、权限相关

    查看权限 命令 ls -l filename 结果 -rw-r--r-- l root root 27 11-10 14:50 filename 解析 -rw-r--r--  #共10位 第1位: 其他人(other)权限 权限说明 r:读(read) w:写(write) x:执行(execute) -:无(没有权限) root root  #所有者、所有者组群 27  #文件/目录大小 11

    6.9K20编辑于 2022-12-15
  • 来自专栏Android干货

    long数值 转换为时间

    new SimpleDateFormat("MM-dd HH:mm"); 3、获得设定时间格式的时间 createTime.format(new Date(time)) ,是一个字符串形式的时间 :11

    2.6K90发布于 2018-05-18
  • 来自专栏程序猿DD

    分布式事务、分布式锁、分布式session

    在分布式系统中,要实现分布式事务,无外乎那几种解决方案。 这种分布式事务方案,比较适合单块应用里,跨多个库的分布式事务,而且因为严重依赖于数据库层面来搞定复杂的事务,效率很低,绝对不适合高并发的场景。 三、分布式锁 redis 分布式锁 redis 最普通的分布式锁 第一个最普通的实现方式,就是在 redis 里创建一个 key,这样就算加锁。 zk 分布式锁的对比 redis 分布式锁,其实需要自己不断去尝试获取锁,比较消耗性能。 redis 分布式锁大家没发现好麻烦吗?遍历上锁,计算时间等等......zk 的分布式锁语义清晰实现简单。

    1.7K20发布于 2020-09-04
  • 来自专栏李蔚蓬的专栏

    java.lang.NullPointerException: Attempt to invoke virtual method 'int android.content.Intent.getI...

    11-10 18:23:24.231 17152-17152/?

    6.4K21发布于 2018-12-11
  • 来自专栏服务端技术杂谈

    分布式系统分布式事务

    分布式系统首先面对的问题是分布式事务 当我们采用分布式来提高系统性能时,首先面对的问题是面对和处理分布式事务。 分布式系统处理数据: 数据分区:把数据块放在不同的服务器上,采用一致性hash; 数据镜像:让所有服务器都有相同的数据,提供相同的服务; 第一种问题,单台机器出现问题,会存在数据丢失的问题。 这就是数据副本:出现某个节点的数据丢失时可以从副本读到,数据副本是分布式系统解决数据丢失的唯一手段。

    1.3K81发布于 2018-04-16
  • 来自专栏码上遇见你

    分布式基础概念-分布式缓存

    分布式缓存寻址算法hash算法:根据key进行hash函数运算、结果对分片数取模,确定分片适合固定分片数的场景。 哨兵用于实现redis集群的高可用,本身也是分布式的,作为一个哨兵集群去运行,互相协同工作。 故障转移时,判断一个master node是否宕机了,需要大部分的哨兵都同意才行,涉及到了分布式选举即使部分哨兵节点挂掉了,哨兵集群还是能正常工作的哨兵通常需要3个实例,来保证自己的健壮性。 能力客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可高性能,客户端直连redis服务,免去了proxy代理的损耗缺点运维也很复杂,数据迁移需要人工干预只能使用0号数据库不支持批量操作(pipeline管道操作)分布式逻辑和存储模块耦合等

    54830编辑于 2023-11-21
  • 来自专栏CodingToDie

    分布式 | 分布式锁的实现

    分布式锁的实现 在常见的分布式锁中有以下三种实现: Redis 实现 Zookeeper 实现 数据库实现 ---- 1. 基于Redis 的实现 在 Redis 中有个3个重要命令,通过这三个命令可以实现分布式锁 setnx key val:当且仅当key不存在时,set一个key为val的字符串,返回1;若key存在,则什么都不做 基于 Zookeeper 的实现 2.1 实现原理 基于zookeeper临时有序节点可以实现的分布式锁。

    1.2K20发布于 2021-03-18
  • 来自专栏码上遇见你

    分布式基础概念-分布式缓存

    加互斥锁分布式系统中常用的缓存方案有哪些?

    48710编辑于 2023-11-17
  • 来自专栏涓流

    分布式理论与分布式事务

    CAP权衡 在分布式系统中,CAP三者目前是无法同时满足的,所以我们要在不同的业务场景中做不同的权衡 CA 这个情况基本上是不会选择的,因为分布式系统下,网络分区是一个必然的选项。 ,实现分布式一致性。 本地消息表 本地消息表是一种最终一致性的分布式事务处理方案, 适用于不需要强一致性的场景。 参考资料 分布式事务框架Fescar 分布式事务 TCC分布式事务 事务基础与分布式事务 分布式理论BASE 2PC协议 3PC协议 TCC型分布式事务原理和实现 用MQ来保证分布式事务的最终一致性 腾讯 KM-万字长文总结分布式事务

    1K10编辑于 2022-06-28
  • 来自专栏码上遇见你

    分布式基础概念-分布式存储

    基因法:分区键的后x个bit位由查询字段进行hash后占用,分区键直接取x个bit位获取分区,查询字段进行hash获取分区,适合非分区键查询字段只有一个的情况 冗余:查询字段冗余存储 Session的分布式方案

    99620编辑于 2023-11-13
  • 来自专栏码上遇见你

    分布式基础概念-分布式缓存

    score进行排序就可以得到坐标附近的其它元素,通过将score还原成坐标值就可以得到元素的原始坐标 HyperLogLog:统计不重复数据,用于大数据基数统计 Streams:内存版的kafka 数据库实现分布式锁的问题及解决方案 不可重入,如果加锁的方法需要递归,则第二次插入会失败,可以使用记录线程标识解决重入问题 死锁,删除锁失败、则其他线程没办法获取锁,可以设置超时时间、使用定时任务检查 数据库单点故障,数据库高可用 Redis分布式锁实现 异步复制可能造成锁丢失,使用redLock解决 顺序向五个节点请求加锁 根据一定的超时时间来推断是不是跳过该节点 三个节点加锁成功并且花费时间小于锁的有效期 认定加锁成功 往期精彩系列推荐 对线面试官系列 分布式基础概念系列

    46310编辑于 2023-11-22
  • 来自专栏single云社区

    【分布式详解】一致性算法、全局唯一ID、分布式锁、分布式事务、 分布式缓存、分布式任务、分布式会话

    分布式相关。 一致性算法 什么是分布式系统的副本一致性?有哪些? 自Paxos问世以来就持续垄断了分布式一致性算法,Paxos这个名词几乎等同于分布式一致性, 很多分布式一致性算法都由Paxos演变而来 分布式算法 - Raft算法 Paxos是出了名的难懂,而Raft 分布式锁 有哪些方案实现分布式锁? Consul 做分布式锁 基于数据库如何实现分布式锁? 分布式缓存 分布式系统中常用的缓存方案有哪些?

    1.9K21编辑于 2024-01-11
  • 来自专栏码上遇见你

    分布式基础概念-分布式事务

    分布式事务有哪些解决方案 基于XA协议的:两阶段提交和三阶段提交,需要数据库层面支持 基于事务补偿机制的:TCC,基于业务层面实现 本地消息表:基于本地数据库+mq,维护本地状态(进行中),通过mq调用服务

    54620编辑于 2023-10-30
  • 来自专栏IT大咖说

    Zookeeper技术:分布式架构详解、分布式技术详解、分布式事务

    一、分布式架构详解 1、分布式发展历程 1.1 单点集中式 特点:App、DB、FileServer都部署在一台机器上。并且访问请求量较少 ? 1.7 分布式文件系统和分布式数据库 特点:数据库采用分布式数据库,文件系统采用分布式文件系统 随着业务的发展,最终数据库读写分离也将无法满足需求,需要采用分布式数据库和分布式文件系统来支撑 分布式数据库是数据库拆分后的最后方法 二、 分布式技术详解 1. 并发性 2. 分布性 大任务拆分成多个任务部署到多台机器上对外提供服务 3. 缺乏全局时钟 时间要统一 4. 对等性 一个服务部署在多台机器上是一样的,无任何差别 5. 三、分布式事务 1. ACID 原子性(Atomicity):一个事务(transaction)中的所有操作,要么全部完成,要么全部不完成,不会结束在中间某个环节。 (服务降级、页面降级) 软状态:允许分布式系统出现中间状态。

    1.1K40发布于 2019-10-14
  • 来自专栏码上遇见你

    分布式基础概念-分布式缓存

    score进行排序就可以得到坐标附近的其它元素,通过将score还原成坐标值就可以得到元素的原始坐标HyperLogLog:统计不重复数据,用于大数据基数统计Streams:内存版的kafka数据库实现分布式锁的问题及解决方案利用唯一约束键存储 直到获取锁不可重入,如果加锁的方法需要递归,则第二次插入会失败,可以使用记录线程标识解决重入问题死锁,删除锁失败、则其他线程没办法获取锁,可以设置超时时间、使用定时任务检查数据库单点故障,数据库高可用Redis分布式锁实现 ,计数)异步复制可能造成锁丢失,使用redLock解决顺序向五个节点请求加锁根据一定的超时时间来推断是不是跳过该节点三个节点加锁成功并且花费时间小于锁的有效期认定加锁成功往期精彩系列推荐对线面试官系列分布式基础概念系列我正在参与

    44110编辑于 2023-11-22
  • 来自专栏码上遇见你

    分布式基础概念-分布式缓存

    分布式缓存寻址算法 hash算法: 根据key进行hash函数运算、结果对分片数取模,确定分片适合固定分片数的场景。 哨兵用于实现redis集群的高可用,本身也是分布式的,作为一个哨兵集群去运行,互相协同工作。 故障转移时,判断一个master node是否宕机了,需要大部分的哨兵都同意才行,涉及到了分布式选举 即使部分哨兵节点挂掉了,哨兵集群还是能正常工作的 哨兵通常需要3个实例,来保证自己的健壮性。 连接集群中任何一个可用节点即可 高性能,客户端直连redis服务,免去了proxy代理的损耗 缺点 运维也很复杂,数据迁移需要人工干预 只能使用0号数据库 不支持批量操作(pipeline管道操作) 分布式逻辑和存储模块耦合等 连接不能共享,当应用规模增大时,资源浪费制约优化 也可参考对线面试官系列文章: 对线面试官 Redis | 十 Redis集群模式 往期精彩内容推荐 分布式基础概念系列 对线面试官系列

    42200编辑于 2023-11-22
  • 来自专栏ThoughtWorks

    从分布式计算到分布式训练

    ,甚至提出了可以在分布式下做结构化的检索。 分布式模型训练 对于单机训练来说,单个GPU,始终会陷入瓶颈,所以对于模型训练,也有人开始尝试,是否可以分布式训练? 模型的分布式,相对于其他分布式计算会困难许多,首先模型依赖于数据,而模型本身的计算又要依赖于GPU,那么要如何将数据和计算能力结合? 对于目前来讲,模型的分布式一般会有以下几种做法: 数据分布式训练 模型分布式训练 混合训练 ? ? 上面的图片比较形象的描述了几种不同的训练方式,首先对于数据分布式来说,每一个节点都有一个完整模型的副本,而对于模型分布式来说,模型的计算会被分散到不同的节点上,例如Tensorflow就通过图形化的表达方法

    1.7K50发布于 2018-04-17
  • 来自专栏码上遇见你

    分布式基础概念-分布式高可用

    在暴增的流量请求下,对一些非核心流程业务、非关键业务,进行有策略的放弃,以此来释放系统资源,保证核心业务的正常运行,尽量避免这种系统资源分配的不平衡,打破二八策略,让更多的机器资源,承载主要的业务请求。服务降级不是一个常态策略,而是应对非正常情况下的应急策略。服务降级的结果,通常是对一些业务请求,返回一个统一的结果,可以理解为是一种FailOver快速失败的策略。一般通过配置中心配置开关实现开启降 。

    32910编辑于 2023-11-27
领券