- 综合排序
- 最热优先
- 最新优先
技术揭秘：异构数据源同步工具如何隔离加载驱动依赖
如果将所有插件及其依赖统一加载到同一个ClassLoader中，极易引发依赖冲突（例如：两个插件依赖不同版本的commons-lang）。传统的类加载机制会遇到类冲突问题，需要实现驱动依赖的隔离加载。 技术主线自定义ClassLoader为每个数据源创建独立的URLClassLoader，隔离命名空间；通过反射调用驱动，避免类泄漏到系统ClassLoader。 进程级隔离（终极方案）为每个数据源启动独立子进程（如JavaAgent），通过IPC通信；完全避免依赖冲突，但性能开销大。 、编译期强封装、避免非法访问依赖必须在编译时确定；不支持运行时动态加载新驱动进程级隔离DataX（阿里开源）Airbyte（开源ELT）每个读写任务在独立JVM进程或Docker容器中运行，物理隔离依赖隔离彻底 DataMover的单进程内完成多源同步方案，目前仍待解决的技术问题，类加载隔离实现可以保证不同插件认证不同Kerberos集群时的认证隔离，但同一个连接器插件需要连接不同开启Kerberos认证的集群时会存在认证冲突问题
23410编辑于 2026-01-05- 来自专栏互联网技术栈
使用Hystrix实现自动降级与依赖隔离
随着服务依赖数量的变多，服务不稳定的概率会成指数性提高. 解决问题方案:对依赖做隔离。 5:提供熔断器组件,可以自动运行或手动调用,停止当前依赖一段时间(10秒)，熔断器默认错误率阈值为50%,超过将自动运行。 6:提供近实时依赖的统计和监控 2.4Hystrix流程结构解析 ? image.png 2.6Hystrix隔离分析 Hystrix隔离方式采用线程/信号的方式,通过隔离限制依赖的并发量和阻塞扩散. (1)线程隔离 把执行依赖代码的线程与请求线程(如:jetty线程) Netflix 内部API 每天100亿的HystrixCommand依赖请求使用线程隔，每个应用大约40多个线程池，每个线程池大约5-20个线程。 (3)信号隔离 信号隔离也可以用于限制并发访问，防止阻塞扩散, 与线程隔离最大不同在于执行依赖代码的线程依然是请求线程（该线程需要通过信号申请）, 如果客户端是可信的且可以快速返回，可以使用信号隔离替换线程隔离
1.4K21发布于 2018-12-12 - 来自专栏薄荷前端
跨平台技术演进
同时，作为技术人员，也不应该满足于这种重复、低能的工作状态。在这样的形势下，跨平台的技术方案也受到越来越多人和企业的关注。接下来，我将从原理、优缺点等方面为大家分享《跨平台技术演进》。 但H5作为跨平台技术的载体，是如何与不同平台的App进行交互的呢？这时候JSBridge就该出场了。 性能问题：在反应速度、流畅度、动画方面远不及原生 功能问题：对摄像头、陀螺仪、麦克风等硬件支持较差 虽然H5目前还存在不足，但随着PWA、WebAssembly等技术的进步，相信H5在未来能够得到越来也好的发展 下面，我们以微信小程序为例，分析小程序的技术架构。 ? 小程序跟H5一样，也是基于Webview实现。 另外，因为仍对ios 和android的原生细节有所依赖，所以需要开发者若不了解原生平台，可能会遇到一些坑。
3.9K20发布于 2019-04-03 - 来自专栏自动化、性能测试
Python - poetry（5）依赖规范
啥是依赖规范 可以以各种形式指定项目的依赖项，取决于依赖项的类型以及安装项目可能需要的可选约束 版本约束 ^ 约束 编写规范 允许的版本范围 ^1.2.3 >=1.2.3 <2.0.0 ^1.2 >=1.2.0 = 1.2.3 确定的版本号或范围 >= 1.2，< 1.5 git 依赖 可以指定依赖项的 git 仓库地址 [tool.poetry.dependencies] requests = { git = Get a revision by its commit hash flask = { git = "https://github.com/pallets/flask.git", rev = "38eb5d3b 如果依赖项位于本地目录，可以用 path [tool.poetry.dependencies] # directory my-package = { path = ".. /my-package/dist/my-package-0.1.0.tar.gz" } url 依赖 如果依赖远程仓库的文件，可以用 url [tool.poetry.dependencies] # directory
60230发布于 2021-09-23 Transformer架构的演进：从BERT到GPT-5的技术突破
Transformer架构的演进：从BERT到GPT-5的技术突破一、引言Transformer架构自2017年被提出以来，已成为自然语言处理（NLP）领域的核心架构。 从BERT到GPT-5，这一架构经历了不断的优化和创新，推动了AI技术的快速发展。本文将深入探讨Transformer架构的演进历程，分析从BERT到GPT-5的技术突破，并提供详细的代码示例。 GPT系列模型基于Transformer解码器架构，专注于生成任务，从GPT-1到GPT-5，每次迭代都带来了显著的技术进步。 3.5 GPT-5：技术飞跃与未来展望架构：预计在参数量和架构复杂度上进一步提升。技术突破：可能在多模态性、个性化和代理能力等方面取得重大进展。 五、结论从BERT到GPT-5，Transformer架构的演进展示了其在自然语言处理领域的强大潜力。
1.1K00编辑于 2025-03-28- 来自专栏迁移内容
JavaWeb：JavaWeb技术架构演进
Java Web，是用 Java 技术来解决相关web互联网领域的技术栈。web 包括：web 服务端和 web 客户端两部分。 Java 技术对 Web 领域的发展注入了强大的动力。 ～ 本篇内容包括：JavaWeb 简介、JavaWeb 技术架构演进的各个阶段，即 JavaWeb-Servlet 阶段，JavaWeb-MVC 阶段（SSM/SSH）以及 JavaWeb-SpringBoot web互联网领域的技术栈。 绝对没有代码生成以及不要求配置 XML Ps：SpringBoot 虽然目的是为了简化 Spring，似乎看起来无需去学习 Spring 的繁琐配置，但是如果没有忍受过Spring的繁琐配置，没有经历过架构模式的演进以及
2.4K20编辑于 2022-12-02 - 来自专栏昆腾
磁带存储技术演进简史
日前，在昆腾举办的技术研讨会上，资深技术专家刘松涛做了《昆腾深度归档技术和案例》的主题分享，详细地介绍了磁带存储技术的演进史和特点，以及昆腾Scalar磁带库全系产品。 磁带存储的演进磁带首次用于数据存储是在1951年。从90年代IT技术开始普及，出现了更多的磁带技术。 但是到2000年，很多磁带技术逐步地淡出市场，LTO成为磁带存储行业的主流，并占据了99%以上的市场。LTO是Linear Tape Open（线性磁带开放）的简写。 LTO技术联盟正是通过改进磁体颗粒密度的方法使得每盒磁带的容量得到巨大的提升，并已经在实验室研制出单盘容量为580TB的磁带产品。 LTO是开放标准（Linear Tape Open）不受限于某个磁带厂商、用户对磁带存储自主可控自LTO-5以来对LTFS磁带格式，使用磁带如同使用本地的文件系统支持加密和WORM支持AES256加密WORM
2.1K20编辑于 2023-10-19 - 来自专栏大数据和云计算技术
开源大数据平台资源隔离现状及演进思考
讲到开放，就要考虑考虑权限的控制、资源隔离，前者是安全控制，而后者技术性更强。 上述集群规模在100台左右，存量数据5PB，增量在10TB/日。机器属于当前主流配置（256G内存，32核CPU）已接入的租户是30个左右，租户基本是按照不同的项目或应用为单元，可能是不同的厂家。 不可否认，当前技术发展的趋势总体上朝着融合的方向走，通过多租户隔离实现资源最大化的共享，大家在一个集中的平台上转。 现实问题在于当前开源技术还不那么成熟，更不要说生产版本还有一定滞后，直接导致资源的隔离不彻底，应用之间相互依旧有干扰。运营过程痛苦。 至于在技术演进方面，我们也不是无动于衷，以下是可以去做的： Impala：如上文提到的，引入Llama组件，将Impala服务的资源交给Yarn集中管理。
1.5K70发布于 2018-03-08 - 来自专栏Tencent Serverless 官方专栏
腾讯云 Serverless 技术演进
本文将从产品层面来介绍腾讯云是如何落地 Serverless 技术以及 Serverless 的技术演进。 ---- 目录 Serverless 是一项新技术，可能有朋友不是很熟悉。 所以我们先介绍下 Serverless 的概念和发展历史，接着介绍腾讯云 Serverless 从 1.0 到 2.0 的技术演进，以及我们如何支持 Serverless 这种技术的，也就是技术生态。 可以看到随着阶段的演进用户需要关注的点越来越少，越来越聚焦于自己的业务逻辑。 ---- Serverless 2.0 技术形态 如图，左边是 Serverless 1.0 的技术形态，右边这部分是 Serverless 2.0 的技术形态。 如果一个用户想用云函数，首先要在本地做开业务开发，目前用的比较多的是 VS Code IDE，当研发把代码和依赖编码完成后通过我们提供的 VS Code 插件可以很方便的把代码部署到我们的平台上，或者通过我们提供的
8.5K62发布于 2019-08-26 - 来自专栏企鹅号快讯
深度学习平台技术演进
2017年12月22日，袁进辉（老师木）代表OneFlow团队在全球互联网架构大会上海站做了《深度学习平台技术演进》的报告，小编对报告内容作简要梳理注解，以飨读者。 计算力是神经网络/深度学习复兴的最大推动力之一；（2）面对深度学习的计算力挑战，软件至少和硬件一样地关键，单靠硬件无法提供易用性和扩展性；（3）鉴于深度学习上层业务和底层硬件的独特性，传统大数据平台里的某些技术未必再对深度学习平台适用 ；（4）深度学习软件平台技术在快速演进中，一部分早期被采用的技术正在被新方法替代；（5）仍有很多重要问题未被现有开源深度学习平台解决；（6）深度学习软件尚处在发展早期，百花齐放，百家争鸣，但必将收敛到一种业界公认的最佳实践 注：深度学习在近些年带来的突破无须赘言，从图像 (ImageNet) ，语音，围棋人机大战等方面的突破都源于深度学习技术。 注：机器学习可以视为一种从训练数据中自动推导出程序的方法。
1K70发布于 2018-01-11 - 来自专栏微信公众号【Java技术江湖】
淘宝技术架构演进之路
1、概述 本文以淘宝作为例子，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。 数据库和Tomcat都能够水平扩展，可支撑的并发大幅提高，随着用户数的增长，最终单机的Nginx会成为瓶颈 3.8、第七次演进：使用LVS或F5来使多个Nginx负载均衡 ? LVS可支持几十万个并发的请求转发；F5是一种负载均衡硬件，与LVS提供的能力类似，性能比LVS更高，但价格昂贵。 ：引入容器化技术实现运行环境隔离与动态服务管理 ? ：刚开发的或开源的技术往往存在很多隐藏的bug，出了问题没有商业支持可能会是一个灾难； 资源隔离设计：应避免单一业务占用全部资源； 架构应能水平扩展：系统只有做到能水平扩展，才能有效避免瓶颈问题； 非核心则购买
4.3K33发布于 2019-09-24 - 来自专栏SDNLAB
解析流控技术演进
图2 RDMA架构与报文格式 RDMA从Infiniband承载协议演进到以太网TCP/UDP承载协议，中间，网卡侧分别有厂商支持RoCEv2，iWARP，甚至Raw TCP。 DCQCN在快速恢复阶段通过5个周期的更新即可恢复到原有速度，并且增加了一个激进加速阶段，使得DCQCN即使在低速情况下也能尽快调整到最佳发送速率。 与DCQCN依赖定时器驱动不同，HPCC速率调整根据数据包的ACK来驱动。 HPCC借助更细粒度链路负载信息并重新设计了拥塞控制算法，能够在大规模网络下快速收敛、降低对大Buffer的依赖、保证数据流的公平性。 2.8 流控技术对比 ? 03 流控技术方向与生态 ? 再换个视角往小里看，在服务器内部的计算和存储的互联也可以利用更先进的无损网络，这里不能完全依赖流控技术，还需要可靠性的传输协议，目前这也是PCIe，IB擅长，而以太网需要加强的。。
3.9K10发布于 2019-12-19 - 来自专栏安智客
Keystore的技术演进之路
Android提供的keystore功能发展历程伴随着Android版本不断演进。 微信SOTER方案就是利用Android keystore技术实现的一个应用解决方案。 在 Android 7.0 中，Keymaster 2 增加了对密钥认证和版本绑定的支持。
3.4K50发布于 2018-02-24 - 来自专栏大数据技术架构
Spark Shuffle的技术演进
二、Spark Shuffle 具体实现的演进 在具体的实现上，Shuffle经历了Hash、Sort、Tungsten-Sort三阶段： Spark 0.8及以前 Hash Based Shuffle Shuffle Spark 1.4 引入Tungsten-Sort Based Shuffle 将数据记录用序列化的二进制方式存储，把排序转化成指针数组的排序，引入堆外内存空间和新的内存管理模型，这些技术决定了使用 过程 https://github.com/JerryLead/SparkInternals/blob/master/markdown/4-shuffleDetails.md 《Spark大数据处理：技术 Shuffle Comparison https://github.com/hustnn/SparkShuffleComparison Spark 1.2之前两种Shuffle方式的分析和对比 《Spark技术内幕 源码解读（十二）－shuffle read Spark Sort Based Shuffle内存分析 https://www.jianshu.com/p/c83bb237caa8 Shuffle的框架之框架演进与框架内核
1.1K30发布于 2019-08-16 - 来自专栏大数据与知识图谱
技术篇：Spark的宽依赖与窄依赖
定义 窄依赖 窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用。 1个子RDD的分区对应于1个父RDD的分区，比如map，filter，union等算子。 宽依赖 宽依赖是指父RDD的每个分区都可能被多个子RDD分区所使用。 1个父RDD对应非全部多个子RDD分区，比如groupByKey，reduceByKey，sortByKey。 DAG RDD之间的依赖关系就形成了DAG（有向无环图）， 在Spark作业调度系统中，调度的前提是判断多个作业任务的依赖关系，这些作业任务之间可能存在因果的依赖关系，也就是说有些任务必须先获得执行，然后相关的依赖任务才能执行 区分这两种依赖很有用。首先，窄依赖允许在一个集群节点上以流水线的方式（pipeline）计算所有父分区。 宽依赖与窄依赖的算子 窄依赖的函数有：map, filter, union, join(父RDD是hash-partitioned ), mapPartitions, mapValues。
3.9K20编辑于 2022-06-01 - 来自专栏DotNet 致知
C#语言入门详解-29接口隔离，反射，特性，依赖注入
http://mpvideo.qpic.cn/0b78ziaagaaamqaadj3cgvpvbswdapfaaaya.f10002.mp4?dis_k=8eb2c8e605a45c06d8f02a8
55230编辑于 2022-03-29 - 来自专栏氧化先生的专栏
【架构拾集】前后端分离演进：不能微服务，那就 BFF 隔离
好的系统，拥有好的设计，并在其生命周期里不断地演进。但是没有一个设计能抵抗住时间，以及业务带来的变更。 技术远景 或许你在我之前的文章里已经了解了 BFF 是什么，又或许你已经从其它渠道了解到这方面的知识。如果没有的话，那么让我再简单地介绍一下：什么是 BFF？ [BFF)(http://architecture.phodal.com//images/bff.jpg) 如我在《前端演进史》 一文所说，早期我们在设计系统 API 的时候，只是单纯地为前端（Web、
63120发布于 2018-08-21 - 来自专栏JavaEdge
Hystrix 自动降级与依赖隔离1.背景2.Hystrix说明
随着服务依赖数量的变多，服务不稳定的概率会成指数性提高. 解决问题方案:对依赖做隔离。 5: 提供熔断器组件,可以自动运行或手动调用,停止当前依赖一段时间(10秒)，熔断器默认错误率阈值为50%,超过将自动运行。 6: 提供近实时依赖的统计和监控 2.4Hystrix流程结构解析 ? 2.6 Hystrix隔离分析 Hystrix隔离方式采用线程/信号的方式,通过隔离限制依赖的并发量和阻塞扩散. (1)线程隔离 把执行依赖代码的线程与请求线程(如:jetty线程)分离，请求线程可以自由控制离开的时间 Netflix 内部API 每天100亿的HystrixCommand依赖请求使用线程隔，每个应用大约40多个线程池，每个线程池大约5-20个线程。 (3)信号隔离 信号隔离也可以用于限制并发访问，防止阻塞扩散, 与线程隔离最大不同在于执行依赖代码的线程依然是请求线程（该线程需要通过信号申请）, 如果客户端是可信的且可以快速返回，可以使用信号隔离替换线程隔离
1.4K31发布于 2018-09-20 《Java 演进之路》系列 · 第 5 篇
当时的团队里，很多人都在说，“原来我们写了这么多年 Java，居然还在用老的技术哲学？”——这句话说实话，还挺有冲击力的。 这个问题说实话，早已困扰 Java 社区多年，尤其是那些需要处理多个依赖库并且频繁遇到“类路径地狱”的开发者。什么叫类路径地狱？ 但像 Applet、CORBA 这类已经脱离时代的技术，则被明确废弃或移除，标志着Oracle正式告别浏览器插件时代。 但有一些功能，JDK 9 明确说“不会在这次实现”。 那个阶段，Java 试图“可控化”地演进，而不是所有技术都一股脑地“试验发布”。 开发协作与透明度的提升 说到底，JDK 9 的模块化不只是功能上的改变，它还带来了更加透明的开发流程。 现在回想起来，模块化在 JDK 9 的出现，为后来的容器化和微服务架构打下了基础；至于 GraalVM 这类新技术，则是在后续版本中借助模块化生态逐步成熟。。
11110编辑于 2026-06-01- 来自专栏windealli
LLM RAG 技术剖析与演进
什么是RAG RAG（Retrieval-Augmented Generation，检索增强生成） 是一种将大语言模型（LLM）与模型外知识库检索相结合的技术架构。 安全与成本权衡 数据隐私：企业不愿将敏感数据上传至公有云训练模型，RAG通过本地化知识库实现数据隔离。 RAG的演进路径：从基础检索到智能代理 1. Naive RAG（基础检索增强生成） 核心思想：将检索与生成简单串联，直接利用检索结果生成回答。 局限性： 检索质量依赖关键词匹配或简单向量相似度。 上下文拼接可能引入噪声，生成结果易偏离用户意图。 2. 5. Agentic RAG（智能体化 RAG） 核心思想：引入自主智能体（Agent）动态控制 RAG 流程。 关键技术： 调用 search_engine="sogou" 或向量检索。
1.4K11编辑于 2025-03-12
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号