- 综合排序
- 最热优先
- 最新优先
技术揭秘：异构数据源同步工具如何隔离加载驱动依赖
如果将所有插件及其依赖统一加载到同一个ClassLoader中，极易引发依赖冲突（例如：两个插件依赖不同版本的commons-lang）。传统的类加载机制会遇到类冲突问题，需要实现驱动依赖的隔离加载。 技术主线自定义ClassLoader为每个数据源创建独立的URLClassLoader，隔离命名空间；通过反射调用驱动，避免类泄漏到系统ClassLoader。 进程级隔离（终极方案）为每个数据源启动独立子进程（如JavaAgent），通过IPC通信；完全避免依赖冲突，但性能开销大。 、编译期强封装、避免非法访问依赖必须在编译时确定；不支持运行时动态加载新驱动进程级隔离DataX（阿里开源）Airbyte（开源ELT）每个读写任务在独立JVM进程或Docker容器中运行，物理隔离依赖隔离彻底 DataMover的单进程内完成多源同步方案，目前仍待解决的技术问题，类加载隔离实现可以保证不同插件认证不同Kerberos集群时的认证隔离，但同一个连接器插件需要连接不同开启Kerberos认证的集群时会存在认证冲突问题
23410编辑于 2026-01-05- 来自专栏互联网技术栈
使用Hystrix实现自动降级与依赖隔离
高并发的依赖失败时如果没有隔离措施，当前应用服务就有被拖垮的风险。 例如:一个依赖30个SOA服务的系统,每个服务99.99%可用。 随着服务依赖数量的变多，服务不稳定的概率会成指数性提高. 解决问题方案:对依赖做隔离。 5a:依赖逻辑调用超时,进入步骤8. 6:判断逻辑是否调用成功 6a:返回成功调用结果 6b:调用出错，进入步骤8. 7:计算熔断器状态,所有的运行状态(成功, 失败, 拒绝,超时)上报给熔断器，用于统计从而判断熔断器状态 image.png 2.6Hystrix隔离分析 Hystrix隔离方式采用线程/信号的方式,通过隔离限制依赖的并发量和阻塞扩散. (1)线程隔离 把执行依赖代码的线程与请求线程(如:jetty线程) (3)信号隔离 信号隔离也可以用于限制并发访问，防止阻塞扩散, 与线程隔离最大不同在于执行依赖代码的线程依然是请求线程（该线程需要通过信号申请）, 如果客户端是可信的且可以快速返回，可以使用信号隔离替换线程隔离
1.4K21发布于 2018-12-12 - 来自专栏薄荷前端
跨平台技术演进
同时，作为技术人员，也不应该满足于这种重复、低能的工作状态。在这样的形势下，跨平台的技术方案也受到越来越多人和企业的关注。接下来，我将从原理、优缺点等方面为大家分享《跨平台技术演进》。 解释器：执行JS代码，输出结果给渲染引擎 Networking 网络工作组：处理网络请求 UI Backend UI后端：绘制窗口小部件 Data Storage 数据存储：管理用户数据 浏览器由以上7个部分组成 另外，因为仍对ios 和android的原生细节有所依赖，所以需要开发者若不了解原生平台，可能会遇到一些坑。 渲染引擎依靠跨平台的Skia图形库来实现，依赖系统的只有图形绘制相关的接口，可以在最大程度上保证不同平台、不同设备的体验一致性，逻辑处理使用支持AOT的Dart语言，执行效率也比JavaScript高得多 其已作为Google Chrome，Chrome OS，Android, Mozilla Firefox, Firefox OS等其他众多产品的图形引擎，支持平台还包括Windows7+,macOS 10.10.5
3.9K20发布于 2019-04-03 - 来自专栏迁移内容
JavaWeb：JavaWeb技术架构演进
Java Web，是用 Java 技术来解决相关web互联网领域的技术栈。web 包括：web 服务端和 web 客户端两部分。 Java 技术对 Web 领域的发展注入了强大的动力。 ～ 本篇内容包括：JavaWeb 简介、JavaWeb 技术架构演进的各个阶段，即 JavaWeb-Servlet 阶段，JavaWeb-MVC 阶段（SSM/SSH）以及 JavaWeb-SpringBoot web互联网领域的技术栈。 绝对没有代码生成以及不要求配置 XML Ps：SpringBoot 虽然目的是为了简化 Spring，似乎看起来无需去学习 Spring 的繁琐配置，但是如果没有忍受过Spring的繁琐配置，没有经历过架构模式的演进以及
2.4K20编辑于 2022-12-02 - 来自专栏昆腾
磁带存储技术演进简史
日前，在昆腾举办的技术研讨会上，资深技术专家刘松涛做了《昆腾深度归档技术和案例》的主题分享，详细地介绍了磁带存储技术的演进史和特点，以及昆腾Scalar磁带库全系产品。 磁带存储的演进磁带首次用于数据存储是在1951年。从90年代IT技术开始普及，出现了更多的磁带技术。 但是到2000年，很多磁带技术逐步地淡出市场，LTO成为磁带存储行业的主流，并占据了99%以上的市场。LTO是Linear Tape Open（线性磁带开放）的简写。 LTO技术联盟正是通过改进磁体颗粒密度的方法使得每盒磁带的容量得到巨大的提升，并已经在实验室研制出单盘容量为580TB的磁带产品。 WORM支持AES256加密WORM格式为Write-Once，Read-Many，写入一次无法篡改，符合监管要求适合携带和远程运输车载磁带是带宽最大的数据传输方式本身较硬盘坚固耐用是最经济的异地灾备技术昆腾
2.1K20编辑于 2023-10-19 - 来自专栏大数据和云计算技术
开源大数据平台资源隔离现状及演进思考
讲到开放，就要考虑考虑权限的控制、资源隔离，前者是安全控制，而后者技术性更强。 但细看有一部分的资源是存在管理盲区： Hbase资源隔离：只有一个全局的heapsize内存控制，没有做分用户的资源隔离，尽管当前版本已经具备单用户请求数的隔离，但验证发现对于一些scan操作结果诡异 不可否认，当前技术发展的趋势总体上朝着融合的方向走，通过多租户隔离实现资源最大化的共享，大家在一个集中的平台上转。 现实问题在于当前开源技术还不那么成熟，更不要说生产版本还有一定滞后，直接导致资源的隔离不彻底，应用之间相互依旧有干扰。运营过程痛苦。 至于在技术演进方面，我们也不是无动于衷，以下是可以去做的： Impala：如上文提到的，引入Llama组件，将Impala服务的资源交给Yarn集中管理。
1.5K70发布于 2018-03-08 - 来自专栏Tencent Serverless 官方专栏
腾讯云 Serverless 技术演进
本文将从产品层面来介绍腾讯云是如何落地 Serverless 技术以及 Serverless 的技术演进。 ---- 目录 Serverless 是一项新技术，可能有朋友不是很熟悉。 所以我们先介绍下 Serverless 的概念和发展历史，接着介绍腾讯云 Serverless 从 1.0 到 2.0 的技术演进，以及我们如何支持 Serverless 这种技术的，也就是技术生态。 可以看到随着阶段的演进用户需要关注的点越来越少，越来越聚焦于自己的业务逻辑。 ---- Serverless 2.0 技术形态 如图，左边是 Serverless 1.0 的技术形态，右边这部分是 Serverless 2.0 的技术形态。 如果一个用户想用云函数，首先要在本地做开业务开发，目前用的比较多的是 VS Code IDE，当研发把代码和依赖编码完成后通过我们提供的 VS Code 插件可以很方便的把代码部署到我们的平台上，或者通过我们提供的
8.5K62发布于 2019-08-26 - 来自专栏企鹅号快讯
深度学习平台技术演进
2017年12月22日，袁进辉（老师木）代表OneFlow团队在全球互联网架构大会上海站做了《深度学习平台技术演进》的报告，小编对报告内容作简要梳理注解，以飨读者。 计算力是神经网络/深度学习复兴的最大推动力之一；（2）面对深度学习的计算力挑战，软件至少和硬件一样地关键，单靠硬件无法提供易用性和扩展性；（3）鉴于深度学习上层业务和底层硬件的独特性，传统大数据平台里的某些技术未必再对深度学习平台适用 ；（4）深度学习软件平台技术在快速演进中，一部分早期被采用的技术正在被新方法替代；（5）仍有很多重要问题未被现有开源深度学习平台解决；（6）深度学习软件尚处在发展早期，百花齐放，百家争鸣，但必将收敛到一种业界公认的最佳实践 注：深度学习在近些年带来的突破无须赘言，从图像 (ImageNet) ，语音，围棋人机大战等方面的突破都源于深度学习技术。 注：机器学习可以视为一种从训练数据中自动推导出程序的方法。
1K70发布于 2018-01-11 - 来自专栏微信公众号【Java技术江湖】
淘宝技术架构演进之路
1、概述 本文以淘宝作为例子，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。 随着数据的丰富程度和业务的发展，检索、分析等需求越来越丰富，单单依靠数据库无法解决如此丰富的需求 3.10、第九次演进：引入NoSQL数据库和搜索引擎等技术 ? ：引入容器化技术实现运行环境隔离与动态服务管理 ? ：刚开发的或开源的技术往往存在很多隐藏的bug，出了问题没有商业支持可能会是一个灾难； 资源隔离设计：应避免单一业务占用全部资源； 架构应能水平扩展：系统只有做到能水平扩展，才能有效避免瓶颈问题； 非核心则购买 使用商用硬件：商用硬件能有效降低硬件故障的机率； 快速迭代：系统应该快速开发小功能模块，尽快上线进行验证，早日发现问题大大降低系统交付的风险； 无状态设计：服务接口应该做成无状态的，当前接口的访问不依赖于接口上次访问的状态
4.3K33发布于 2019-09-24 - 来自专栏SDNLAB
解析流控技术演进
图2 RDMA架构与报文格式 RDMA从Infiniband承载协议演进到以太网TCP/UDP承载协议，中间，网卡侧分别有厂商支持RoCEv2，iWARP，甚至Raw TCP。 图7入端口队列Buffer与PFC水线设置 如上图所示，具体到每个队列，其Buffer 分配根据使用场景分为三个部分：保存缓存， 共享缓存，Headroom。 与DCQCN依赖定时器驱动不同，HPCC速率调整根据数据包的ACK来驱动。 HPCC借助更细粒度链路负载信息并重新设计了拥塞控制算法，能够在大规模网络下快速收敛、降低对大Buffer的依赖、保证数据流的公平性。 2.8 流控技术对比 ? 03 流控技术方向与生态 ? 再换个视角往小里看，在服务器内部的计算和存储的互联也可以利用更先进的无损网络，这里不能完全依赖流控技术，还需要可靠性的传输协议，目前这也是PCIe，IB擅长，而以太网需要加强的。。
3.9K10发布于 2019-12-19 - 来自专栏安智客
Keystore的技术演进之路
Android提供的keystore功能发展历程伴随着Android版本不断演进。 微信SOTER方案就是利用Android keystore技术实现的一个应用解决方案。 在 Android 7.0 中，Keymaster 2 增加了对密钥认证和版本绑定的支持。
3.4K50发布于 2018-02-24 《Java 演进之路》系列 · 第 7 篇
意义：开发者无需再引入 Apache HttpClient 或 OkHttp 等第三方库，通过标准库即可实现高效、安全的 HTTP 通信，降低项目依赖复杂度。 它通过并发标记与压缩技术，实现了亚毫秒级的 GC 停顿（通常 < 10ms），并支持 TB 级堆内存管理。 • 目标：实现 亚毫秒级 GC 停顿，支持 TB 级堆内存。 影响与收益： • 必要性：若项目依赖 JAXB/JAX-WS，需手动添加 Jakarta EE 对应依赖（如 jakarta.xml.bind:jakarta.xml.bind-api）。 ✅ 总结 JDK 11 通过 JSR 384 整合了六大关键能力，为 Java 的持续演进奠定了实用基础：从标准化 HTTP 通信（JEP 321）到简化代码编写（var 语法扩展、字符串/文件 API 可以说，JDK 11 或许不是最具话题性的版本，但它却是 Java 在新时代保持竞争力的关键一步——足够稳定以支撑核心业务，足够现代以拥抱技术趋势，足够轻量以降低使用门槛。
18700编辑于 2026-06-01- 来自专栏大数据技术架构
Spark Shuffle的技术演进
二、Spark Shuffle 具体实现的演进 在具体的实现上，Shuffle经历了Hash、Sort、Tungsten-Sort三阶段： Spark 0.8及以前 Hash Based Shuffle Shuffle Spark 1.4 引入Tungsten-Sort Based Shuffle 将数据记录用序列化的二进制方式存储，把排序转化成指针数组的排序，引入堆外内存空间和新的内存管理模型，这些技术决定了使用 过程 https://github.com/JerryLead/SparkInternals/blob/master/markdown/4-shuffleDetails.md 《Spark大数据处理：技术 ：深入解析Spark内核架构于实现原理》第7章Shuffle模块详解 Spark 1.6之前三种Shuffle方式的分析和对比 Spark Architecture: Shuffle https://0x0fff.com 源码解读（十二）－shuffle read Spark Sort Based Shuffle内存分析 https://www.jianshu.com/p/c83bb237caa8 Shuffle的框架之框架演进与框架内核
1.1K30发布于 2019-08-16 - 来自专栏大数据与知识图谱
技术篇：Spark的宽依赖与窄依赖
定义 窄依赖 窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用。 1个子RDD的分区对应于1个父RDD的分区，比如map，filter，union等算子。 宽依赖 宽依赖是指父RDD的每个分区都可能被多个子RDD分区所使用。 1个父RDD对应非全部多个子RDD分区，比如groupByKey，reduceByKey，sortByKey。 DAG RDD之间的依赖关系就形成了DAG（有向无环图）， 在Spark作业调度系统中，调度的前提是判断多个作业任务的依赖关系，这些作业任务之间可能存在因果的依赖关系，也就是说有些任务必须先获得执行，然后相关的依赖任务才能执行 区分这两种依赖很有用。首先，窄依赖允许在一个集群节点上以流水线的方式（pipeline）计算所有父分区。 宽依赖与窄依赖的算子 窄依赖的函数有：map, filter, union, join(父RDD是hash-partitioned ), mapPartitions, mapValues。
3.9K20编辑于 2022-06-01 - 来自专栏DotNet 致知
C#语言入门详解-29接口隔离，反射，特性，依赖注入
http://mpvideo.qpic.cn/0b78ziaagaaamqaadj3cgvpvbswdapfaaaya.f10002.mp4?dis_k=8eb2c8e605a45c06d8f02a8
55230编辑于 2022-03-29 - 来自专栏氧化先生的专栏
【架构拾集】前后端分离演进：不能微服务，那就 BFF 隔离
好的系统，拥有好的设计，并在其生命周期里不断地演进。但是没有一个设计能抵抗住时间，以及业务带来的变更。 技术远景 或许你在我之前的文章里已经了解了 BFF 是什么，又或许你已经从其它渠道了解到这方面的知识。如果没有的话，那么让我再简单地介绍一下：什么是 BFF？ [BFF)(http://architecture.phodal.com//images/bff.jpg) 如我在《前端演进史》 一文所说，早期我们在设计系统 API 的时候，只是单纯地为前端（Web、
63120发布于 2018-08-21 - 来自专栏JavaEdge
Hystrix 自动降级与依赖隔离1.背景2.Hystrix说明
高并发的依赖失败时如果没有隔离措施，当前应用服务就有被拖垮的风险。 例如:一个依赖30个SOA服务的系统,每个服务99.99%可用。 随着服务依赖数量的变多，服务不稳定的概率会成指数性提高. 解决问题方案:对依赖做隔离。 5a:依赖逻辑调用超时,进入步骤8. 6:判断逻辑是否调用成功 6a:返回成功调用结果 6b:调用出错，进入步骤8. 7:计算熔断器状态,所有的运行状态(成功, 失败, 拒绝,超时)上报给熔断器，用于统计从而判断熔断器状态 2.6 Hystrix隔离分析 Hystrix隔离方式采用线程/信号的方式,通过隔离限制依赖的并发量和阻塞扩散. (1)线程隔离 把执行依赖代码的线程与请求线程(如:jetty线程)分离，请求线程可以自由控制离开的时间 (3)信号隔离 信号隔离也可以用于限制并发访问，防止阻塞扩散, 与线程隔离最大不同在于执行依赖代码的线程依然是请求线程（该线程需要通过信号申请）, 如果客户端是可信的且可以快速返回，可以使用信号隔离替换线程隔离
1.4K31发布于 2018-09-20 - 来自专栏windealli
LLM RAG 技术剖析与演进
什么是RAG RAG（Retrieval-Augmented Generation，检索增强生成） 是一种将大语言模型（LLM）与模型外知识库检索相结合的技术架构。 安全与成本权衡 数据隐私：企业不愿将敏感数据上传至公有云训练模型，RAG通过本地化知识库实现数据隔离。 RAG的演进路径：从基础检索到智能代理 1. Naive RAG（基础检索增强生成） 核心思想：将检索与生成简单串联，直接利用检索结果生成回答。 局限性： 检索质量依赖关键词匹配或简单向量相似度。 上下文拼接可能引入噪声，生成结果易偏离用户意图。 2. 关键技术： 图化知识库：将文档中的实体、关系构建为图结构，支持多跳推理。 图检索：基于用户问题在图上游走（如路径查询、社区发现），补充传统向量检索。
1.4K11编辑于 2025-03-12 - 来自专栏JAVA高级架构
余额宝技术架构及演进
上个月微博商业产品部联合天弘基金等金融技术团队策划了首届互联网金融系统沙龙，围绕在互联网金融过程中碰到技术架构问题与业界展开分享及交流。本文是陈雨在沙龙上的演讲，授权高可用架构首发。 ? 技术上创新是今天重点要说的事情： 基金直销和 TA 清算的整合。传统的基金系统直销和清算是分开。直销系统每天要把数据以文件形式导入清算系统里去。 这是余额宝技术方面的创新。 架构演进历史 一期 IOE 架构 下面介绍一下一期的架构，很明显看到就是传统的 IOE 架构。底层存储是 EMC 存储。 传统基金只需要做到系统的 5 × 8 可用性，对接支付宝以后，要做 7 × 24 小时可用性。 2013 年 6 月，一期系统如期上线，业务规模远远超出我们想象。 未来演进思考 对系统未来演进思考，主要分这么几个方面。 从大的方面来讲是全局通盘考虑。我们要把核心和辅助系统通盘考虑，降低数据的冗余，降低数据维护成本。
1.9K50发布于 2018-08-16 - 来自专栏学而时习之
MySQL基础篇7 mysql的事务到底是隔离的还是不隔离的
正文: 弄清楚事务中的事务隔离与实现 如果是可重复读级别. 事务T启动的时候会创建一个视图read-view. 也就是说, 在可重复读隔离级别下执行事务, 好像与世无争. 不受外界影响. 用于支持rc和rr隔离级别的实现. 他没有物理结构, 作用是事务执行期间用来定义. "我能看到什么数据" "快照"在mvcc里是如何工作的? 在可重复读隔离级别下，事务在启动的时候就“拍了个快照”。 而读提交的逻辑和可重复读的逻辑类似，它们最主要的区别是： 在可重复读隔离级别下，只需要在事务开始的时候创建一致性视图，之后事务里的其他查询都共用这个一致性视图； 在读提交隔离级别下，每一个语句执行前都会重新算出一个新的视图 在读提交隔离级别下，事务 A 和事务 B 的查询语句查到的 k，分别应该是多少呢？
95320发布于 2020-05-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号