- 综合排序
- 最热优先
- 最新优先
技术揭秘：异构数据源同步工具如何隔离加载驱动依赖
如果将所有插件及其依赖统一加载到同一个ClassLoader中，极易引发依赖冲突（例如：两个插件依赖不同版本的commons-lang）。传统的类加载机制会遇到类冲突问题，需要实现驱动依赖的隔离加载。 技术主线自定义ClassLoader为每个数据源创建独立的URLClassLoader，隔离命名空间；通过反射调用驱动，避免类泄漏到系统ClassLoader。 进程级隔离（终极方案）为每个数据源启动独立子进程（如JavaAgent），通过IPC通信；完全避免依赖冲突，但性能开销大。 、编译期强封装、避免非法访问依赖必须在编译时确定；不支持运行时动态加载新驱动进程级隔离DataX（阿里开源）Airbyte（开源ELT）每个读写任务在独立JVM进程或Docker容器中运行，物理隔离依赖隔离彻底 DataMover的单进程内完成多源同步方案，目前仍待解决的技术问题，类加载隔离实现可以保证不同插件认证不同Kerberos集群时的认证隔离，但同一个连接器插件需要连接不同开启Kerberos认证的集群时会存在认证冲突问题
14810编辑于 2026-01-05- 来自专栏互联网技术栈
使用Hystrix实现自动降级与依赖隔离
高并发的依赖失败时如果没有隔离措施，当前应用服务就有被拖垮的风险。 例如:一个依赖30个SOA服务的系统,每个服务99.99%可用。 随着服务依赖数量的变多，服务不稳定的概率会成指数性提高. 解决问题方案:对依赖做隔离。 2.3Hystrix如何解决依赖隔离 1:Hystrix使用命令模式HystrixCommand(Command)包装依赖调用逻辑，每个命令在单独线程中/信号授权下执行。 image.png 2.6Hystrix隔离分析 Hystrix隔离方式采用线程/信号的方式,通过隔离限制依赖的并发量和阻塞扩散. (1)线程隔离 把执行依赖代码的线程与请求线程(如:jetty线程) (3)信号隔离 信号隔离也可以用于限制并发访问，防止阻塞扩散, 与线程隔离最大不同在于执行依赖代码的线程依然是请求线程（该线程需要通过信号申请）, 如果客户端是可信的且可以快速返回，可以使用信号隔离替换线程隔离
1.3K21发布于 2018-12-12 - 来自专栏薄荷前端
跨平台技术演进
同时，作为技术人员，也不应该满足于这种重复、低能的工作状态。在这样的形势下，跨平台的技术方案也受到越来越多人和企业的关注。接下来，我将从原理、优缺点等方面为大家分享《跨平台技术演进》。 但H5作为跨平台技术的载体，是如何与不同平台的App进行交互的呢？这时候JSBridge就该出场了。 另外，因为仍对ios 和android的原生细节有所依赖，所以需要开发者若不了解原生平台，可能会遇到一些坑。 渲染引擎依靠跨平台的Skia图形库来实现，依赖系统的只有图形绘制相关的接口，可以在最大程度上保证不同平台、不同设备的体验一致性，逻辑处理使用支持AOT的Dart语言，执行效率也比JavaScript高得多 缺点 优点即缺点，Dart 语言的生态小，精通成本比较高 UI控件API设计不佳 与原生融合障碍很多，不利于渐进式升级 总结 移动互联网的普及和快速发展，跨平台技术风起云涌，这也是技术发展过程中的必经之路
3.4K20发布于 2019-04-03 - 来自专栏昆腾
磁带存储技术演进简史
日前，在昆腾举办的技术研讨会上，资深技术专家刘松涛做了《昆腾深度归档技术和案例》的主题分享，详细地介绍了磁带存储技术的演进史和特点，以及昆腾Scalar磁带库全系产品。 磁带存储的演进磁带首次用于数据存储是在1951年。从90年代IT技术开始普及，出现了更多的磁带技术。 但是到2000年，很多磁带技术逐步地淡出市场，LTO成为磁带存储行业的主流，并占据了99%以上的市场。LTO是Linear Tape Open（线性磁带开放）的简写。 LTO技术联盟正是通过改进磁体颗粒密度的方法使得每盒磁带的容量得到巨大的提升，并已经在实验室研制出单盘容量为580TB的磁带产品。 WORM支持AES256加密WORM格式为Write-Once，Read-Many，写入一次无法篡改，符合监管要求适合携带和远程运输车载磁带是带宽最大的数据传输方式本身较硬盘坚固耐用是最经济的异地灾备技术昆腾
1.8K20编辑于 2023-10-19 - 来自专栏迁移内容
JavaWeb：JavaWeb技术架构演进
Java Web，是用 Java 技术来解决相关web互联网领域的技术栈。web 包括：web 服务端和 web 客户端两部分。 Java 技术对 Web 领域的发展注入了强大的动力。 ～ 本篇内容包括：JavaWeb 简介、JavaWeb 技术架构演进的各个阶段，即 JavaWeb-Servlet 阶段，JavaWeb-MVC 阶段（SSM/SSH）以及 JavaWeb-SpringBoot web互联网领域的技术栈。 绝对没有代码生成以及不要求配置 XML Ps：SpringBoot 虽然目的是为了简化 Spring，似乎看起来无需去学习 Spring 的繁琐配置，但是如果没有忍受过Spring的繁琐配置，没有经历过架构模式的演进以及
2.2K20编辑于 2022-12-02 - 来自专栏大数据技术架构
Spark Shuffle的技术演进
二、Spark Shuffle 具体实现的演进 在具体的实现上，Shuffle经历了Hash、Sort、Tungsten-Sort三阶段： Spark 0.8及以前 Hash Based Shuffle Shuffle Spark 1.4 引入Tungsten-Sort Based Shuffle 将数据记录用序列化的二进制方式存储，把排序转化成指针数组的排序，引入堆外内存空间和新的内存管理模型，这些技术决定了使用 过程 https://github.com/JerryLead/SparkInternals/blob/master/markdown/4-shuffleDetails.md 《Spark大数据处理：技术 Shuffle Comparison https://github.com/hustnn/SparkShuffleComparison Spark 1.2之前两种Shuffle方式的分析和对比 《Spark技术内幕 源码解读（十二）－shuffle read Spark Sort Based Shuffle内存分析 https://www.jianshu.com/p/c83bb237caa8 Shuffle的框架之框架演进与框架内核
1.1K30发布于 2019-08-16 - 来自专栏企鹅号快讯
深度学习平台技术演进
2017年12月22日，袁进辉（老师木）代表OneFlow团队在全球互联网架构大会上海站做了《深度学习平台技术演进》的报告，小编对报告内容作简要梳理注解，以飨读者。 计算力是神经网络/深度学习复兴的最大推动力之一；（2）面对深度学习的计算力挑战，软件至少和硬件一样地关键，单靠硬件无法提供易用性和扩展性；（3）鉴于深度学习上层业务和底层硬件的独特性，传统大数据平台里的某些技术未必再对深度学习平台适用 ；（4）深度学习软件平台技术在快速演进中，一部分早期被采用的技术正在被新方法替代；（5）仍有很多重要问题未被现有开源深度学习平台解决；（6）深度学习软件尚处在发展早期，百花齐放，百家争鸣，但必将收敛到一种业界公认的最佳实践 注：深度学习在近些年带来的突破无须赘言，从图像 (ImageNet) ，语音，围棋人机大战等方面的突破都源于深度学习技术。 注：机器学习可以视为一种从训练数据中自动推导出程序的方法。
94870发布于 2018-01-11 - 来自专栏Tencent Serverless 官方专栏
腾讯云 Serverless 技术演进
本文将从产品层面来介绍腾讯云是如何落地 Serverless 技术以及 Serverless 的技术演进。 ---- 目录 Serverless 是一项新技术，可能有朋友不是很熟悉。 所以我们先介绍下 Serverless 的概念和发展历史，接着介绍腾讯云 Serverless 从 1.0 到 2.0 的技术演进，以及我们如何支持 Serverless 这种技术的，也就是技术生态。 可以看到随着阶段的演进用户需要关注的点越来越少，越来越聚焦于自己的业务逻辑。 ---- Serverless 2.0 技术形态 如图，左边是 Serverless 1.0 的技术形态，右边这部分是 Serverless 2.0 的技术形态。 如果一个用户想用云函数，首先要在本地做开业务开发，目前用的比较多的是 VS Code IDE，当研发把代码和依赖编码完成后通过我们提供的 VS Code 插件可以很方便的把代码部署到我们的平台上，或者通过我们提供的
8.2K62发布于 2019-08-26 - 来自专栏微信公众号【Java技术江湖】
淘宝技术架构演进之路
1、概述 本文以淘宝作为例子，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。 随着数据的丰富程度和业务的发展，检索、分析等需求越来越丰富，单单依靠数据库无法解决如此丰富的需求 3.10、第九次演进：引入NoSQL数据库和搜索引擎等技术 ? ：引入容器化技术实现运行环境隔离与动态服务管理 ? ：刚开发的或开源的技术往往存在很多隐藏的bug，出了问题没有商业支持可能会是一个灾难； 资源隔离设计：应避免单一业务占用全部资源； 架构应能水平扩展：系统只有做到能水平扩展，才能有效避免瓶颈问题； 非核心则购买 使用商用硬件：商用硬件能有效降低硬件故障的机率； 快速迭代：系统应该快速开发小功能模块，尽快上线进行验证，早日发现问题大大降低系统交付的风险； 无状态设计：服务接口应该做成无状态的，当前接口的访问不依赖于接口上次访问的状态
4.2K33发布于 2019-09-24 - 来自专栏大数据和云计算技术
开源大数据平台资源隔离现状及演进思考
讲到开放，就要考虑考虑权限的控制、资源隔离，前者是安全控制，而后者技术性更强。 但细看有一部分的资源是存在管理盲区： Hbase资源隔离：只有一个全局的heapsize内存控制，没有做分用户的资源隔离，尽管当前版本已经具备单用户请求数的隔离，但验证发现对于一些scan操作结果诡异 不可否认，当前技术发展的趋势总体上朝着融合的方向走，通过多租户隔离实现资源最大化的共享，大家在一个集中的平台上转。 现实问题在于当前开源技术还不那么成熟，更不要说生产版本还有一定滞后，直接导致资源的隔离不彻底，应用之间相互依旧有干扰。运营过程痛苦。 至于在技术演进方面，我们也不是无动于衷，以下是可以去做的： Impala：如上文提到的，引入Llama组件，将Impala服务的资源交给Yarn集中管理。
1.5K70发布于 2018-03-08 - 来自专栏安智客
Keystore的技术演进之路
Android提供的keystore功能发展历程伴随着Android版本不断演进。 微信SOTER方案就是利用Android keystore技术实现的一个应用解决方案。 在 Android 7.0 中，Keymaster 2 增加了对密钥认证和版本绑定的支持。
3.2K50发布于 2018-02-24 - 来自专栏SDNLAB
解析流控技术演进
图2 RDMA架构与报文格式 RDMA从Infiniband承载协议演进到以太网TCP/UDP承载协议，中间，网卡侧分别有厂商支持RoCEv2，iWARP，甚至Raw TCP。 此前，RDMA硬件仅仅依赖于传统网络的PFC反压机制来实现点到点的发送速度控制，没有网卡的配合，无法实现端到端的流控。 与DCQCN依赖定时器驱动不同，HPCC速率调整根据数据包的ACK来驱动。 HPCC借助更细粒度链路负载信息并重新设计了拥塞控制算法，能够在大规模网络下快速收敛、降低对大Buffer的依赖、保证数据流的公平性。 2.8 流控技术对比 ? 03 流控技术方向与生态 ? 再换个视角往小里看，在服务器内部的计算和存储的互联也可以利用更先进的无损网络，这里不能完全依赖流控技术，还需要可靠性的传输协议，目前这也是PCIe，IB擅长，而以太网需要加强的。。
3.7K10发布于 2019-12-19 - 来自专栏大数据与知识图谱
技术篇：Spark的宽依赖与窄依赖
定义 窄依赖 窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用。 1个子RDD的分区对应于1个父RDD的分区，比如map，filter，union等算子。 宽依赖 宽依赖是指父RDD的每个分区都可能被多个子RDD分区所使用。 1个父RDD对应非全部多个子RDD分区，比如groupByKey，reduceByKey，sortByKey。 DAG RDD之间的依赖关系就形成了DAG（有向无环图）， 在Spark作业调度系统中，调度的前提是判断多个作业任务的依赖关系，这些作业任务之间可能存在因果的依赖关系，也就是说有些任务必须先获得执行，然后相关的依赖任务才能执行 区分这两种依赖很有用。首先，窄依赖允许在一个集群节点上以流水线的方式（pipeline）计算所有父分区。 宽依赖与窄依赖的算子 窄依赖的函数有：map, filter, union, join(父RDD是hash-partitioned ), mapPartitions, mapValues。
3.6K20编辑于 2022-06-01 - 来自专栏DotNet 致知
C#语言入门详解-29接口隔离，反射，特性，依赖注入
http://mpvideo.qpic.cn/0b78ziaagaaamqaadj3cgvpvbswdapfaaaya.f10002.mp4?dis_k=8eb2c8e605a45c06d8f02a8
49630编辑于 2022-03-29 - 来自专栏氧化先生的专栏
【架构拾集】前后端分离演进：不能微服务，那就 BFF 隔离
好的系统，拥有好的设计，并在其生命周期里不断地演进。但是没有一个设计能抵抗住时间，以及业务带来的变更。 技术远景 或许你在我之前的文章里已经了解了 BFF 是什么，又或许你已经从其它渠道了解到这方面的知识。如果没有的话，那么让我再简单地介绍一下：什么是 BFF？ [BFF)(http://architecture.phodal.com//images/bff.jpg) 如我在《前端演进史》 一文所说，早期我们在设计系统 API 的时候，只是单纯地为前端（Web、
56220发布于 2018-08-21 - 来自专栏区块链大本营
比特币技术栈的演进
在下图中，研究人员尝试绘制了比特币技术栈最新的计划和相对完整的表示。从图中可以看出，区块链技术栈的创新正在从layer 2技术向智能合约解决方案全面推进了。 注：但该图尚不完整，也不表明对图中所列技术的认可。 ? ? Layer 2 Lightning Network（闪电网络）是比特币最杰出的Layer 2技术，最近有很多关于闪电网络采用率的讨论。 因为闪电网络不依赖于全局状态协调，因此用户可以使用其他技术和网络覆盖来直接进行交易，比如使用Tor网络。私有信道中发生的活动无法被主流的闪电浏览器捕获。 Schnorr签名本质上是使这些新的智能合约方法成为可能的技术原语。目前还有一些正在理论证明阶段的技术，比如Scriptless Scripts。 这只是个开始，演进还将继续 总的来说，比特币是一套不断发展的协议，以上例子只是改进比特币技术框架的一部分。
85821发布于 2020-02-21 - 来自专栏携程技术
干货 | 携程技术演进之路
作为互联网OTA领头羊，携程在近20年的发展历程中，在业务形态和互联网行业整体发展驱动下，经历了三轮技术体系的演进。 本文将详述这一技术演进历程，希望能给互联网企业，尤其是早期的互联网企业一些借鉴和启发，帮助大家少走一些弯路。 二、携程技术演进路线 携程技术演进路线，可以大致分成三个阶段： 呼叫中心时代，主要是以线下业务驱动为主； 互联网+移动互联网时代，产品技术驱动为主； 数字化+AI时代，大数据驱动为主。 总体而言，技术演进取决于业务形态和互联网行业的发展变化。 之前的技术体系本身就是两层架构，应用只能部署在单台服务器上，高并发能力有限。扩展性很差，不能进行大型应用之间的分层和部署，也就无法支持应用隔离和应用多集群部署。
2.4K51发布于 2019-04-22 - 来自专栏windealli
LLM RAG 技术剖析与演进
什么是RAG RAG（Retrieval-Augmented Generation，检索增强生成） 是一种将大语言模型（LLM）与模型外知识库检索相结合的技术架构。 安全与成本权衡 数据隐私：企业不愿将敏感数据上传至公有云训练模型，RAG通过本地化知识库实现数据隔离。 RAG的演进路径：从基础检索到智能代理 1. Naive RAG（基础检索增强生成） 核心思想：将检索与生成简单串联，直接利用检索结果生成回答。 局限性： 检索质量依赖关键词匹配或简单向量相似度。 上下文拼接可能引入噪声，生成结果易偏离用户意图。 2. 关键技术： 图化知识库：将文档中的实体、关系构建为图结构，支持多跳推理。 图检索：基于用户问题在图上游走（如路径查询、社区发现），补充传统向量检索。
1.3K10编辑于 2025-03-12 - 来自专栏JAVA高级架构
余额宝技术架构及演进
上个月微博商业产品部联合天弘基金等金融技术团队策划了首届互联网金融系统沙龙，围绕在互联网金融过程中碰到技术架构问题与业界展开分享及交流。本文是陈雨在沙龙上的演讲，授权高可用架构首发。 ? 技术上创新是今天重点要说的事情： 基金直销和 TA 清算的整合。传统的基金系统直销和清算是分开。直销系统每天要把数据以文件形式导入清算系统里去。 这是余额宝技术方面的创新。 架构演进历史 一期 IOE 架构 下面介绍一下一期的架构，很明显看到就是传统的 IOE 架构。底层存储是 EMC 存储。 未来演进思考 对系统未来演进思考，主要分这么几个方面。 从大的方面来讲是全局通盘考虑。我们要把核心和辅助系统通盘考虑，降低数据的冗余，降低数据维护成本。 服务化 关于拆分和服务化治理，后面考虑做的事情是充分利用阿里云的 PaaS 平台技术，把我们大应用拆分为简单的可横向扩展的小应用。 ?
1.7K50发布于 2018-08-16 【Docker入门】技术架构演进之路
欢迎来到我的CSDN博客：Optimistic _ chen ✨ 一名热爱技术与分享的全栈开发者，在这里记录成长，专注分享编程技术与实战经验，助力你的技术成长之路，与你共同进步！ 容器（Docker） 定义：Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的 Linux或Windows操作系统的机器上，也可以实现虚拟化 这是一个很好的问题，一个计算机解决不了某个问题，那通过一群计算机来解决，拥有更加优越的性能； 当一群计算机中某个主机挂机了，会有其他计算机立刻接管该计算机的任务，确保服务的可靠性； *但是正因为它是依赖网络连接的 容器化引入—容器编排架构 随业务增长，我们系统的资源利用率不高，面对不同的环境都要进行隔离，运维工作会变的很大。 总结 一个完整的互联网应用架构 他的演进之路是不断解决上一层架构的缺点，直到现在成熟完善的互联网应用架构。
8310编辑于 2026-01-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号