- 综合排序
- 最热优先
- 最新优先
- 来自专栏QQ大数据团队的专栏
腾讯云TBDS在海量Iceberg的治理之路
本文共计6044字 预计阅读时长19分钟 TBDS（Tencent Big Data Suite）是腾讯基于多年大数据实践构建的一站式、高性能、企业级大数据存储计算分析平台。 TBDS Lakehouse 作为 TBDS 产品的重要组成部分，目前已服务国内众多头部券商、大型能源国企、头部银行等大中小型客户。 基于此，TBDS也将 Iceberg作为了TBDS数据湖组件主要的表格式。 TBDS LakeKeeper：TBDS Lakehouse治理平台 LakeKeeper 是TBDS 针对TBDS-Lakehouse治理推出的自研平台，目前在海量Iceberg表治理场景，通过 “主从架构 因此，TBDS产品中TI(TBDS Insight)提供了一套实现方案，来主动检测和发现客户在TBDS中使用不合理或者存在使用优化空间的问题，针对这些现象给出优化建议。
72810编辑于 2025-11-17 - 来自专栏QQ大数据团队的专栏
深入腾讯云TBDS：大规模HDFS集群优化实战
腾讯云TBDS是腾讯大数据能力的私有云产品化，结合内部实践和典型客户的具体情况，对HDFS做了系统的优化。 为了进一步优化Router本身性能，在腾讯云TBDS产品中将Router的响应请求异步化，解耦同步等待时间以提升Router的吞吐量。 而我们在腾讯云TBDS产品中采用了树型锁，不仅针对写、也对读操作进行了更细粒度的锁拆分，可以更有效地提升读写性能。 自研拆锁的设计原则 锁用来保护数据，而非保护流程。 ，详细参考： 图七 例如路径锁分配（蓝色为读锁，红色为写锁）： 图八 若每个INode都一个INode lock，10亿INode（每个锁100B），预计占用90GB堆内存，易引发内存膨胀，因此我们在腾讯云 05、未来展望 腾讯云TBDS集群拓展性上支持Router按业务扩容，在确保提升集群整体的规模基础上且不损失性能。性能上可进一步优化HDFS NameNode的元数据存储，将元数据分解下沉至外部存储。
1.7K32编辑于 2024-06-03 - 来自专栏QQ大数据团队的专栏
腾讯云TBDS斩获两大奖项！
腾讯云大数据处理套件TBDS凭借其卓越的创新能力和实践案例，荣获两大奖项： 新一代信息技术创新产品：TBDS以其湖仓一体、存算分离的新一代云原生大数据架构，以及强大的性能、国产化生态和安全体系，获得了业界的高度认可 图一 腾讯云TBDS： 新一代信息技术创新产品 腾讯云TBDS是面向数据全生命周期的、一站式的大数据统一存储、计算、分析平台，融合了数据仓库的高性能及管理能力与数据湖的灵活性，支持多种数据类型并存，实现数据间的相互共享 全面国产化生态：TBDS涵盖国产化芯片、操作系统、服务器、数据库等领域，支持对常见的鲲鹏、海光、飞腾、申威、兆芯、中标麒麟、银河麒麟、中科红旗、统信UOS、腾讯云TDSQL等产品的适配，拥有20+软著和 该平台为金融行业安全可控迈向新水平提供了重要范例，具有以下特点： 全栈国产化：该平台基于腾讯云TBDS构建，从基础设施到应用层均采用国产化软硬件，实现了全面的自主可控，保障金融数据安全。 腾讯云TBDS的获奖，充分彰显了其在创新能力和实践案例方面的领先优势。
61910编辑于 2024-04-24 - 来自专栏王亮的专栏
基于腾讯云大数据套件 TBDS 的 flume 异常问题排查过程
flumeagent逻辑分析 以上sink里调用了一个com.tencent.tbds.flume.sink.MysqlSinkForMetadata的类，这是一个自定义类，我们在引用路径里找到这个类所在
2.5K30发布于 2016-11-09 - 来自专栏QQ大数据团队的专栏
腾讯云大数据TBDS数据湖荣获IDC金融领域最佳实践案例
针对这些难题，腾讯云TBDS为该银行量身定制了存算分离数据湖解决方案，助力其成功克服挑战，实现数据管理效能的提升。 落地成果斐然，打造金融行业数据管理标杆 得益于腾讯云大数据TBDS存算分离数据湖方案的强大实力，该股份制银行取得了显著的成效： ● 核心场景查询性能提升：得益于TBDS的存算分离架构和弹性扩缩容能力，该银行核心场景查询性能提升了 该案例充分展现了腾讯云大数据TBDS在金融领域数据管理领域的领先优势，为金融机构构建安全、高效、可扩展的数据管理平台提供了最佳实践范本。 “我们非常荣幸获得IDC的认可，此次入选是对腾讯云大数据TBDS数据湖方案实力的肯定。我们将继续深耕金融行业，为金融机构提供更优质的数据管理解决方案，助力金融机构数字化转型升级。” 腾讯云副总裁黄世飞表示。
93210编辑于 2024-05-13 - 来自专栏QQ大数据团队的专栏
深入腾讯云TBDS: 湖仓架构下存储自动化治理实践
数据湖底层文件治理成本也随之增高，一方面是用户在湖仓架构上使用的便利与高效，另一方面是湖仓架构下万亿级文件治理带来的运维成本，目前业界在数据湖存储治理方面开源且易用的方案并不多，我们基于项目中的实战经验，分享腾讯云 基于腾讯云TBDS 在客户侧丰富的实践经验，我们开始在 Amoro 的基础上通过改造，赋能 TBDS 上一个功能全面易用的数据湖优化组件，简单描述我们的预期为： 用户只需要在工作台编辑配置表的属性配置， ，主要基于以下出发点： ● TBDS目前提供面向云原生的计算集群，但是考虑到大量的客户主要计算资源依旧为yarn, 所以云原生场景下依旧需要完整的支持 Yarn 作为主要的计算资源。 // Call Luoshu again when got an unexpected error return false; } 4、总结与展望 4.1 业务使用效果 目前我们已经在腾讯云 腾讯云大数据始终致力于为各行业客户提供轻快、易用，智能的大数据平台。 关注腾讯云大数据公众号 邀您探索数据的无限可能
81220编辑于 2024-10-18 - 来自专栏深度学习与python
腾讯云大数据 TBDS 在私有化场景万节点集群的实践
在 腾讯云基础软件创新实践专场，来自腾讯云的 TBDS 大数据引擎研发负责人杨鹏程带来了主题为《腾讯云⼤数据 TBDS 在私有化场景万节点集群的实践》的演讲，以下为主要内容。 本次分享主要分为三个部分展开：第一部分是 Hadoop 体系下存算⼀体存在的问题；第二部分是 TBDS 存算分离架构和三层优化；第三部分是云原⽣环境下计算引擎优化和最佳实践，最后是对本次分享内容的总结。 像云数仓这种服务越来越火，存算分离也借助与云原生和缓存加速真正实现大规模生产实践的落地。 TBDS 存算分离架构和三层优化 通过前面存算一体提出的问题以及存算分离的简单的介绍，我们从三个核心点设计和考虑我们的存算分离架构，主要是核心扩展性、海量存储计算速度和云原生。 我们整体是往云原生方面发展，计算引擎也越来越多的往云原生上开发适配。
1.8K20编辑于 2023-03-29 - 来自专栏腾讯云大数据
腾讯云大数据平台 TBDS全面升级，加速构建安全可控的大数据生态
8月22日，腾讯云大数据首届“智理无数，心中有数”伙伴交流会在深圳滨海大厦举办。本次会议主要围绕腾讯云大数据平台TBDS产品的全新升级，以及在渠道伙伴中的推广策略及应用实践展开。 腾讯云副总裁刘煜宏 此次升级，腾讯云TBDS在三大核心引擎上更加注重底层自研能力提升，通过领先的自研技术和前沿的技术理念持续强化安全可控水平。 针对伙伴比较关心的售卖环节，腾讯云产业生态合作部总经理张大捷提到，“腾讯云大数据平台TBDS具备全面自主国产化和平台开放的优势，适配各行业客户需求，提供灵活的场景适配方案。 作为腾讯云大数据平台TBDS首个完成产品集成的合作伙伴，国泰新点生态合作部总经理殷利明先生介绍了腾讯TBDS产品给自身产品带来的技术性能提升和全链路开箱即用工具链的支持，快速赋能到国泰新点政务大数据项目的数据平台建设和项目落地 通过国泰新点跟腾讯云大数据TBDS的合作案例，也为其他伙伴深度合作开拓了新的思路和机会。
2.3K20编辑于 2022-08-26 - 来自专栏QQ大数据团队的专栏
腾讯云TBDS+WeData企业级数据中台荣获IDC工业领域最佳实践案例
基于腾讯云 TBDS+WeData 打造的新一代数据中台，企业完成中国数字化营销平台和数字化服务平台构建，助力精准营销、售后服务增长和供应链库存优化，实现数据分析支持企业决策。 腾讯云 TBDS+WeData 数据中台解决方案，通过构建统一、高效、安全的数据管理平台，帮助工业企业实现数据的有序组织、治理和呈现，助力企业降本增效。 腾讯云 TBDS+WeData 数据 中台方案优势 ●全栈自主创新：TBDS+WeData已全面适配项目国产芯片、操作系统，从硬件到软件，全链路自主创新； ●CDH 迁移：提供了 CDH 平滑迁移方案、 该企业面临着数据分散、质量低、难以利用等挑战，腾讯云为客户提供大数据产品 TBDS+Wedata 来构建企业级数据中台，助力精准营销、售后服务增长和供应链库存优化。 该方案整合了腾讯云 TBDS 和 WeData 的优势，提供了丰富易用的数据开发和治理功能，显著降低了数据开发和运维难度，大幅提升了数据开发效率。
1K10编辑于 2024-07-01 - 来自专栏QQ大数据团队的专栏
腾讯云TBDS：新一代数据湖仓实践，助力企业数据架构升级
企业数据架构升级实践案例 01、TBDS 新一代数据湖仓架构 腾讯云大数据 TBDS 是一款依托腾讯多年海量数据处理经验，基于云原生技术，泛 Hadoop 生态和最前沿的湖仓技术打造的可靠、安全、易用的大数据平台 在新一代产品中，TBDS 灵活地为用户提供了两种架构下的大数据计算服务，在现有的传统架构大数据集群之外，用户可以无缝弹性扩展计算到新一代架构的湖仓计算服务当中，享受 TBDS 基于云延伸+大数据+AI 并且我们通过腾讯自研的 KonaJDK 在大数据领域的专项优化，以及 TBDS 多年以来在信创大数据领域的经验沉淀，TBDS 实现了对于国产软硬件性能的极致优化，可以最大化地发挥硬件性能潜力，充分保证业务的信创升级 其中一个重要的升级是基于 TCE 平台，新一代 TBDS 升级了完整的云数一体能力，统一对接 TCE 云平台的资源和用户体系，支持一键部署 TBDS 大数据服务，免去了复杂的前期准备。 在未来，我们将继续完善 TBDS 湖仓大数据平台。在更多大数据场景的能力支撑和使用体验优化，并且探索更多新场景和性能优化的方向，腾讯云大数据始终致力于为各行业客户提供轻快、易用的智能化大数据平台。
1.7K20编辑于 2024-10-25 - 来自专栏QQ大数据团队的专栏
腾讯云大数据TBDS 助力国有大行一表通业务性能翻三倍！
1.腾讯云 TBDS 大数据平台介绍 腾讯云 TBDS 是腾讯经过多年的大数据实践，面向数据全生命周期，对外提供安全、可靠、易用的一站式、高性能、企业级大数据存储计算分析平台，腾讯云TBDS 已落地金融 、政务、能源、工业等多个行业，交付了 1000+ 的私有云大数据项目，腾讯云 TBDS 从 2017 年开始支持某国有大行的大数据平台建设，在大规模集群支持、核心业务性能优化、金融级数据安全、国产化创新 ●目前腾讯云 TBDS 在此项目的一表通业务涉及的数据量级单表百亿级，整体任务量在数百个左右，并且任务中有多层依赖关系，所以一表通涉及到监管报送的月批业务需要腾讯云 TBDS 跑 2 ～ 3 天左右。 落地效果 一表通业务在腾讯云 TBDS 落地的架构如下： ●CBO 实际优化后，一表通中存款、贷款、投融资中的跑批作业任务，腾讯云TBDS 版 Hive CBO优化后的性能综合提升 15%； ●向量化优化后 未来随着客户业务的升级与腾讯云 TBDS 版本升级演化，通过架构改造，从而进一步整体降低计算资源成本，提升运行效率。
1.6K10编辑于 2024-07-08 - 来自专栏QQ大数据团队的专栏
鹏华基金核心系统完成国产化升级，腾讯云大数据TBDS再拓应用新场景
5月8日，腾讯云联合鹏华基金共同对外宣布，通过双方技术团队以及战略合作伙伴华云中盛共同努力，腾讯云大数据套件TBDS日前已经正式在鹏华基金大数据核心系统落地应用，实现对原有大数据TA（Transfer 出于技术领先性、安全性、易用性、性能、售后服务等方面的综合考量，鹏华基金在对比多个国内产品后，最终选择了在金融行业有丰富案例积累的腾讯云大数据处理套件TBDS作为替换平台。 在新系统建设过程中，腾讯云对鹏华基金大数据TA进行了数据迁移和应用关联改造，成功将原有数据迁移到腾讯云大数据处理套件TBDS平台并提升了TA清算性能，其交易清算耗时相对于旧生产环境节省三分之一，降低了系统清算风险 目前，腾讯云大数据TBDS已持续为超1000家中大型客户构建国产化大数据方案。 腾讯云TBDS现已在金融行业成功打造了多个突破性案例，在中金财富、中国银行、兴业银行等多家头部金融机构落地。 2022年，腾讯云TBDS还助力中信建投打造了证券行业首个国产化大数据平台，进一步实现了大数据处理系统的全面自主可控。
74220编辑于 2023-07-26 大数据平台深度分析与对比
本文将对腾讯云大数据套件、TBDS、Tencent Big Data Suite、大数据平台、数据中台等产品进行深度分析和对比。 腾讯云大数据套件 大数据组件 腾讯云大数据套件提供了全面的大数据组件支持，包括但不限于HDFS, Spark, Hive等，以满足不同数据处理需求。 Hbase Hbase在腾讯云大数据套件中用于提供高性能、可扩展的NoSQL数据库解决方案。 多租户 腾讯云大数据套件支持多租户架构，确保不同用户间的数据隔离和安全性。 集群联邦能力 腾讯云大数据套件支持集群联邦，允许跨多个集群进行资源管理和数据访问。 TBDS 大数据组件 TBDS提供了包括HDFS, Spark在内的大数据组件，以支持复杂的数据处理任务。 腾讯云大数据套件、TBDS和数据中台都提供了这些核心能力，以支持企业在数据存储、处理、分析和治理方面的需求。
41410编辑于 2025-07-28大数据平台技术评测与深度分析
本文将对腾讯云大数据套件、TBDS、Tencent Big Data Suite以及市场上的大数据平台进行深度分析和对比。 腾讯云大数据套件 大数据组件 腾讯云大数据套件提供了全面的大数据组件支持，包括Hadoop、Spark、Flink等，满足不同数据处理需求。 Spark 腾讯云大数据套件支持Spark，提供快速的数据处理能力，适用于机器学习和实时数据处理。 Hive 集成Hive，腾讯云大数据套件能够简化SQL查询，使非结构化数据的处理更加便捷。 Iceberg 腾讯云大数据套件支持Iceberg，优化了数据湖的存储和查询性能。 Flink 腾讯云大数据套件支持Flink，提供实时数据处理和分析能力。 腾讯云大数据套件、TBDS和Tencent Big Data Suite都提供了这些组件的支持，并在多租户管理、管控平台、大数据部署、运维和集群联邦能力方面展现了各自的优势。
37810编辑于 2025-07-28腾讯云TBDS获金融信创实验室全项适配认证 打造国产化大数据平台标杆
近日，腾讯云大数据套件软件TBDS V5.3、数据仓库TCHouse V3.0通过金融信创生态实验室（以下简称“实验室”）的适配验证。 腾讯云TBDS遵循该原则，提供了金融场景下标准大数据套件软件、TCHouse数仓平台作为金融业务应用系统参与测试。 测试中，腾讯云TBDS基于鲲鹏ARM架构的服务器，操作系统采用银河麒麟 V10 ，共同构成金融开放平台业务系统的运行环境。 腾讯云TBDS具备支持金融业务系统所需的能力，满足金融信创自主研发、安全可靠的需求。 不仅如此，腾讯云TBDS湖仓架构还在众多大型金融企业中落地了成熟的应用案例。
68400编辑于 2025-03-07大数据平台深度分析与对比评测
腾讯云大数据套件 大数据组件 腾讯云大数据套件提供了全面的Hadoop生态组件支持，包括但不限于HDFS、Spark、Hive等，确保数据处理的高效性和灵活性。 管控平台 腾讯云提供了一个集中的管控平台，用于监控和管理整个大数据环境，简化了运维工作。 大数据部署 腾讯云大数据套件支持一键部署，使得大数据平台的搭建变得简单快捷。 大数据运维 腾讯云提供了全面的运维支持，包括监控、日志分析和故障排查等。 集群联邦能力 腾讯云大数据套件具备集群联邦能力，可以实现跨集群的资源管理和数据调度。 数据中台的建设往往依赖于大数据平台和数据治理工具，如上文所述的腾讯云大数据套件和TBDS。 腾讯云大数据套件和TBDS作为市场上的领先解决方案，提供了全面的大数据组件支持和强大的管控能力，是企业构建大数据平台的理想选择。
38910编辑于 2025-07-28- 来自专栏QQ大数据团队的专栏
【融合创新】腾讯云获评年度国产化优秀代表厂商，TBDS+WeData打造一体化Data+AI平台
围绕这一趋势，腾讯云大数据以大数据处理套件TBDS与数据开发治理平台WeData为核心，形成覆盖数据集成、开发、治理、资产管理、数据服务与数据安全的一体化Data+AI数智平台解决方案，帮助政企、金融、 在国产化资质与生态建设方面，腾讯云大数据持续推进产品与产业链的深度协同。 腾讯云大数据TBDS产品中心总经理徐晓敏表示：“国产化不是一次性替换，而是长期能力建设。 腾讯云大数据将持续围绕TBDS与WeData，强化自主创新与开放生态的协同能力，把平台做得更稳定、更易用、更可运营，让数据平台不仅能支撑分析，更能在AI时代支撑更实时、更智能的数据应用与业务创新。” Tencent BigData 关注腾讯云大数据╳探索数据的无限可能
61710编辑于 2026-01-19 - 来自专栏大数据平台TBDS
TBDS大数据集群迁移实践总结
这次迁移的老集群在客户自有机房，新集群部署在腾讯云CVM上，属于腾讯云的机房，两套集群均只有私有网络不能互通，无法直接使用distcp工具迁移。 我们在内部调研得知腾讯云有提供数据迁移工具CDM（可以理解为一个容量非常大的移动硬盘）,经过和客户及CDM侧讨论，决定采用腾讯云CDM+COS+distcp方案迁移HDFS数据，采用此方案的原因有以下几点 ： （1）新集群使用的腾讯云CVM机器，CVM机器与腾讯云COS内网互通（最重要的因素）。 （4）腾讯云机房只允许腾讯云的设备进出机房，不能使用客户的硬盘拷贝数据然后带到腾讯云机房挂载上去。 CDM Hadoop dfs -get /apps/hive /mnt/CDM/ .... 4.客户侧将拷贝完毕的CDM设备邮寄回腾讯云CDM侧 5.腾讯云CDM侧将数据从CDM设备拷贝至腾讯云COS
4.6K70发布于 2018-12-13 大数据平台深度分析：组件、技术与运维对比
本文将深入探讨大数据组件、HDFS、Spark、Hive、Iceberg、Flink、Hbase、多租户、管控平台、大数据部署、大数据运维和集群联邦能力，对比分析腾讯云大数据套件、TBDS、Tencent 腾讯云大数据套件 功能亮点 腾讯云大数据套件提供了一站式的大数据解决方案，包括数据采集、存储、计算、分析和可视化等功能。 技术实现 大数据组件：与腾讯云大数据套件类似，集成了Hadoop生态系统的核心组件。 HDFS、Spark、Hive、Iceberg、Flink、Hbase：同腾讯云大数据套件。 腾讯云大数据套件、TBDS和Tencent Big Data Suite都提供了这些核心能力，但各有侧重点。 腾讯云大数据套件以其全面的服务和强大的数据处理能力脱颖而出，而TBDS和Tencent Big Data Suite则在数据治理和BI分析方面提供了额外的价值。
53210编辑于 2025-07-28- 来自专栏QQ大数据团队的专栏
【融合创新】六成TOP10券商选择腾讯云大数据平台，加速适配AI场景
点击蓝字 关注我们 本文共计1613字 预计阅读时长5分钟 12月24日，腾讯云官方公号披露，在国内TOP10券商中，已有超过6成选择腾讯云，构建新一代国产大数据平台，用于支撑面向AI时代的数据基础设施升级 据腾讯云官方披露，目前中信证券、国泰海通、中信建投、广发证券、银河证券、中金财富等多家头部机构，均已和腾讯云大数据平台TDBS进行合作。 腾讯云TBDS提供了覆盖数据、元数据、作业调度等核心资产的迁移工具体系，迁移过程可校验、可回滚、可监控，降低了传统“人盯人、手工改”的迁移风险，迁移周期从传统的3-6个月缩短至1-3个月。 以广发证券为例，其基于腾讯云TBDS完成了CDH集群的平滑迁移，数据开发效率提升47%，为智能投顾、精准营销等核心业务提供了更稳定的实时分析能力。 腾讯云大数据TBDS产品中心总经理徐晓敏表示，腾讯云致力于将数据分析、模型训练、向量检索、AI编程等能力在同一平台内完成，打造数据与AI融合的智能工作台，为券商及政企客户打造能面向未来十年AI时代的数据基础设施
49010编辑于 2025-12-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号