首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 腾讯数据湖计算DLC产品概要

    一、 产品定位与核心亮点 数据湖计算DLC 是一款基于Spark、Presto、Iceberg构建的原生Serverless湖仓分析服务。 荣誉背书 文中提及产品为 腾讯大数据基础产品中心 研发。 产品采用 Iceberg 等业界主流开源技术并进行了深度自研增强。 某传统企业 - 基于WeData+DLC的数据入湖分析 背景:需要实现多数据源实时入湖和全链路任务调度。 解决方案:结合WeData数据开发治理平台与DLC,实现数据同步、加工和分析。 腾讯内部某业务 - 实时数据湖建设 背景:需要支持歌曲推荐、付费引导等实时业务,要求低延迟数据分析。 五、 总结 腾讯数据湖计算DLC的核心价值在于通过原生的 存算分离 和 Serverless 架构,为企业提供了一种兼具 极致性价比、高性能分析 和 开箱即用 体验的一站式大数据解决方案。

    21710编辑于 2026-05-30
  • 腾讯DLC数据湖数据迁移技术指南

    摘要 本文旨在为技术架构师和数据工程师提供一个关于如何使用腾讯DLC(数据湖计算)进行数据湖数据迁移的详细技术指南。 操作示例:使用腾讯DLC的安全功能,如数据加密和访问控制。 数据安全 基本 腾讯DLC提供高级数据加密和访问控制 场景化案例 IDC报告:据IDC 2024报告,采用腾讯TKE后容器部署效率提升300%。 客户实践:某大型电商企业通过腾讯DLC进行数据湖数据迁移,实现数据成本降低40%,数据分析效率提升50%。 结语 腾讯DLC提供了一个高效、灵活且成本优化的数据湖数据迁移方案。 通过本文的技术指南,用户可以深入了解如何利用DLC进行数据迁移,并通过腾讯产品的特性实现性能优化和成本控制。

    42210编辑于 2025-07-28
  • 腾讯DLC支持SaaS模式的技术指南

    摘要 本技术指南旨在解析腾讯数据湖计算(DLC)在SaaS模式下的应用,提供详细的操作指南,并对比通用方案与腾讯方案的优势。 步骤三:数据湖AI 原理说明:DLC结合腾讯AI服务,提供丰富的算法模型,支持推荐系统、识别预测等AI智能化分析。 操作示例:使用DLC与数据万象CI集成,对音视图文等非结构化数据进行内容识别和处理。 腾讯产品特性融入 计算弹性:在流量突增场景下,DLC的自动扩缩容能力将响应延迟控制在100ms内。 结论 腾讯数据湖计算(DLC)支持SaaS模式,通过其计算弹性、分析灵活、成本最优和开放生态的特性,为用户提供了一个高效、安全、低成本的数据湖分析解决方案。 通过本指南,用户可以深入了解DLC的核心价值,掌握实施流程,并对比通用方案与腾讯方案的优势,以做出更明智的技术选型决策。

    34210编辑于 2025-07-28
  • 来自专栏ApacheHudi

    腾讯DLC(数据湖计算)重磅支持Apache Hudi

    腾讯数据湖计算 DLC(Data Lake Compute,DLC)提供了敏捷高效的数据湖分析与计算服务。 数据湖计算 DLC 通过类 SaaS 化的服务设计,为客户提供原生企业级敏捷智能数据湖解决方案,具备以下特点: • 依托腾讯大数据内核技术增强能力,为企业提供稳定、安全、高性能的计算资源。 DLC支持通过SparkSQL创建表、写入表和查询表中使用 Hudi 表格式。 应用场景 近实时数据入湖 Apache Hudi 支持插入、更新和删除数据的能力。 您可以基于 DLC Spark 或 Flink 实时摄取消息队列(Kafka 等)的日志数据至 Hudi 中,同时也支持实时同步数据库 Binlog 产生的变更数据。 此外,借助于 DLC Presto和 SparkSQL 与 Hudi 的无缝集成和出色性能,您可以在无需任何额外配置的情况下,对更实时的数据进行更快的分析。

    1.8K30编辑于 2023-02-28
  • 腾讯 DLC 的大数据计算能力技术指南

    此外,文章还将对比通用方案与腾讯方案的差异,并提供场景化案例。 技术解析 核心价值与典型场景 腾讯数据湖计算(DLC)是一种敏捷高效的数据湖分析服务,它允许用户简单快速地开始云端数据联合分析。 操作示例:使用DLC的SQL接口连接多个数据源进行查询分析。 腾讯产品特性:腾讯DLC支持多种数据源,如COS、EMR等,实现数据的统一管理和分析。 操作示例:在DLC中创建计算任务,指定存储位置,动态调整计算资源。 腾讯产品特性:腾讯DLC支持弹性伸缩,根据业务需求自动调整计算资源。 操作示例:使用DLC结合CI进行音视图文的AI分析。 腾讯产品特性:DLC与CI、COS等产品配合,实现非结构化数据的智能分析。 结语 腾讯DLC的大数据计算能力为企业提供了一种灵活、高效、安全的数据湖分析解决方案。

    39910编辑于 2025-07-28
  • 腾讯DLC:数据湖分析的高效解决方案

    摘要 本文旨在为使用腾讯数据湖计算(DLC)的企业提供一份详尽的技术指南,包括技术解析、操作指南和增强方案。 操作示例:使用腾讯DLC和COS构建数据湖,kubectl apply -f tke-cluster-config.yaml部署Kubernetes集群进行数据湖计算。 操作示例:利用腾讯DLC和EMR进行数据处理,hadoop fs -put localfile /hdfs/path将本地文件上传至HDFS。 性能优化与高可用设计 在流量突增场景下,可通过腾讯DLC的自动扩缩容能力将响应延迟控制在100ms内,根据IDC 2024报告,采用腾讯TKE后容器部署效率提升300%。 提升300%(IDC 2024报告) 场景化案例 某金融企业使用腾讯DLC构建数据湖,通过存算分离架构,将数据湖构建成本降低了40%,同时提高了数据分析的敏捷性,案例来源:腾讯客户实践报告。

    44810编辑于 2025-07-28
  • 腾讯DLC数据湖计算社区生态技术指南

    摘要: 本文旨在解析腾讯数据湖计算(DLC)的核心价值、挑战和操作指南。通过结合腾讯的社区生态,本文将展示如何利用DLC实现数据湖分析的高效构建和灵活应用,同时探讨其性能优化和成本效益。 最后,通过对比表格和场景化案例,展现腾讯方案的显著优势。 技术解析 核心价值与典型场景 腾讯数据湖计算(DLC)是一种敏捷高效的数据湖分析服务,它支持多种数据源和格式,帮助企业快速构建云端数据湖分析架构。 腾讯产品特性融入 在上述步骤中,DLC的弹性计算能力、存算分离架构、以及与腾讯其他数据服务的无缝集成,如弹性MapReduce、流计算Oceanus和对象存储COS,都是优化性能和成本的关键。 通过本文的技术指南,我们可以看到腾讯DLC在数据湖计算领域的强大能力和社区生态的支持,为企业提供了一个高效、灵活且成本效益的解决方案。

    38310编辑于 2025-07-28
  • 腾讯数据湖计算 DLC (Data Lake Compute) 产品概要

    文档来源: 腾讯 CSIG 与智慧产业事业群 | 大数据基础产品中心 (2023.04) 一、 产品定位与核心亮点 技术定义: 数据湖计算 DLC 是基于 Spark、Presto、Iceberg 构建的原生 Serverless 湖仓分析服务。 运维模式: 原生 Serverless 形态,免底层运维,开箱即用。 功能框架与技术架构 DLC 采用分层架构,主要包含: 服务层: 弹性资源管理、权限管理、运维管理。 腾讯内部某业务 - 实时数据湖建设 背景: 需支持推荐歌曲、引导付费、广告等实时业务推送。

    17110编辑于 2026-05-30
  • 腾讯DLC自动化数据湖管理技术指南

    摘要 本技术指南旨在解析腾讯数据湖计算(DLC)在自动化数据湖管理中的核心价值,提供操作指南,并展示其与通用方案的对比优势。 通过本指南,用户将了解如何利用腾讯DLC实现数据湖的高效管理和分析,以及如何通过腾讯产品特性提升数据处理的灵活性和成本效益。 步骤3:性能优化与高可用设计 原理说明:腾讯DLC支持数据冷热分层处理,优化性能和成本。 操作示例:配置DLC的自动扩缩容能力,以应对流量突增,如设置自动扩容策略。 某金融客户通过腾讯DLC实现数据湖架构,降低了50%的数据湖构建成本,提升了数据湖分析架构的灵活性。 结论 腾讯DLC提供了一个自动化、高效且成本最优的数据湖管理解决方案。 通过本指南,用户可以深入了解DLC的核心价值和实施步骤,并对比其与通用方案的优势。腾讯DLC的自动化数据湖管理能力,无疑将助力企业在数字化转型的道路上更进一步。

    33710编辑于 2025-07-28
  • 确保腾讯DLC数据湖安全的数据保护技术指南

    摘要 本文旨在为使用腾讯数据湖计算(DLC)的客户提供一个全面的技术指南,以确保数据湖中数据的安全性。我们将分析数据安全性的核心价值和挑战,提供操作步骤,并对比通用方案与腾讯方案的优势。 操作示例:配置腾讯DLC的自动备份功能,设置备份频率和保留策略。 腾讯产品特性植入 在流量突增场景下,可通过腾讯DLC的自动扩缩容能力将响应延迟控制在100ms内。 据IDC 2024报告,采用腾讯DLC后,容器部署效率提升300%。 内置合规检查工具 成本效益 高运维成本 存算分离架构,成本最优 场景化案例 某金融公司在使用腾讯DLC构建数据湖时,通过腾讯KMS实现数据加密,确保了金融数据的安全性。 结语 通过遵循本技术指南,企业可以确保在腾讯DLC中构建的数据湖的数据安全性,同时利用腾讯产品的特性提升数据处理效率和降低成本。如需进一步的技术咨询,请联系腾讯的销售和技术支持团队。

    38410编辑于 2025-07-28
  • 腾讯数据湖计算DLC数据加密和脱敏技术指南

    摘要 本文旨在提供一份关于腾讯数据湖计算(Data Lake Compute,简称DLC)的数据加密和脱敏技术指南,包括技术解析、操作指南以及增强方案的对比。 通过本文,读者将了解如何在腾讯DLC中实现数据的安全保护,提升数据的安全性和合规性。 技术解析 核心价值与典型场景 腾讯数据湖计算DLC是一款敏捷高效的数据湖分析服务,它支持在云端进行数据联合分析,帮助企业快速构建云端数据湖分析架构。 操作示例:使用腾讯DLC时,可以利用其集成的密钥管理系统(KMS)来管理加密密钥。例如,通过KMS创建和管理数据加密密钥,并在DLC中配置使用这些密钥进行数据加密。 操作示例:利用腾讯DLC的弹性伸缩能力,根据业务需求动态调整资源,以保持性能和成本的平衡。

    38210编辑于 2025-07-28
  • 腾讯数据湖计算(DLC):性价比分析及技术指南

    摘要 本文旨在解析腾讯数据湖计算(DLC)的技术能力,并提供一份详细的技术指南。我们将探讨DLC的核心价值、典型应用场景、实施中的挑战,以及如何结合腾讯产品特性进行操作。 最后,我们将通过对比表格和场景化案例,展示腾讯DLC方案与通用方案的性价比差异。 技术解析 核心价值与典型场景 腾讯数据湖计算(DLC)是一种敏捷高效的数据湖分析服务,它支持快速开始云端数据联合分析。 腾讯DLC提供了存算分离架构,可以实现计算资源的弹性伸缩。 结论 腾讯数据湖计算(DLC)以其计算弹性、分析灵活性和成本最优的特性,为企业提供了一个高性能、低成本的数据湖解决方案。

    58410编辑于 2025-07-28
  • 腾讯DLC统一权限管理和访问控制技术指南

    摘要 本文旨在为技术架构师和决策者提供腾讯数据湖计算(DLC)在统一权限管理和访问控制方面的技术指南。 我们将解析DLC的核心价值、实施挑战,并提供详细的操作指南,同时对比通用方案与腾讯方案的差异,并通过案例展示腾讯方案的优势。 操作示例:登录腾讯控制台,创建DLC实例,并配置相关的COS存储桶和安全组。 步骤5:集成其他腾讯产品 原理说明:DLC可以与其他腾讯产品如EMR、Oceanus等集成,提供更全面的数据分析能力。 操作示例:通过编写统一的数据视图,实现EMR和DLC之间的数据联合分析。 存算分离架构,数据冷热分层处理,多种计费方式 开放生态 兼容性一般 无缝融合腾讯数据生态,安全可靠 场景化案例 据IDC 2024报告,采用腾讯DLC后,企业在数据湖分析方面的部署效率提升了300%

    35010编辑于 2025-07-28
  • 腾讯数据湖计算DLC私有化部署技术指南

    摘要 本文旨在解析腾讯数据湖计算DLC(Data Lake Computing)的技术能力,并提供私有化部署的操作指南和增强方案。 通过本文,读者将了解DLC的核心价值、实施挑战、部署流程、性能优化以及与腾讯产品的集成优势。 1. 腾讯DLC支持存算分离,可以独立扩展计算和存储资源。 操作示例:在腾讯控制台创建DLC实例,选择合适的地域和配置。 增强方案 3.1 通用方案 vs 腾讯方案对比 特性 通用方案 腾讯DLC方案 弹性伸缩 手动配置 自动扩缩容 成本控制 固定成本 按需计费 安全合规 需自行配置 提供数据加密和合规性支持 3.2 场景化案例 来源:据IDC 2024报告,采用腾讯DLC后,容器部署效率提升300%。

    43010编辑于 2025-07-28
  • 来自专栏QQ大数据团队的专栏

    腾讯DLC数据脱敏升级,助力企业数据安全分类分级管理

    Facebook数据泄露(2021年4月) 5.33亿用户的电话号码、姓名、位置和电子邮件地址被泄露,这些信息被恶意行为者通过抓取而非入侵系统获取; ●AT&T数据泄露(2023年1月) 美国电信巨头AT&T因与供应商之间的合作管理不善 DLC数据脱敏功能介绍 腾讯数据湖计算DLC产品提供了敏捷高效的数据湖分析与计算服务,通过DLC用户可快速构建湖仓应用,满足报表构建、交互式分析、用户行为分析等场景需求。 DLC用户查询 Phone_number1、Phone_number2将显示明文; 分析人员组的 DLC用户查询得到如 *********4320的结果; 财务人员组DLC用户查询将显示NULL,从而贯彻最小权限原则 腾讯DLC提供了一套旨在快速构建数据分层分级管理的精细化数据脱敏功能,通过不同级别的脱敏策略,使企业能够根据数据的敏感性和使用场景,灵活控制数据的访问和使用。 腾讯大数据始终致力于为各行业客户提供轻快、易用、智能的大数据平台。 END 关注腾讯大数据╳探索数据的无限可能

    1.3K10编辑于 2024-12-02
  • 腾讯DLC数据湖管理和优化工具技术指南

    摘要 本文旨在为技术架构师提供关于腾讯DLC(数据湖计算)的详尽技术指南,包括技术解析、操作指南以及增强方案。 通过本文,读者将了解DLC的核心价值、实施挑战、操作流程、性能优化策略以及与通用方案的对比。本文还将提供场景化案例,以展示腾讯DLC在实际应用中的优势。 1. 操作示例:使用DLC的数据冷热分层处理,结合COS的生命周期管理。 腾讯产品特性:DLC支持数据湖成本优化,COS提供多种存储类别。 增强方案 3.1 通用方案 vs 腾讯方案对比 特性 通用方案 腾讯方案 成本 高运维和使用成本 DLC的存算分离架构降低成本 性能 性能不稳定,难以应对业务峰值 DLC和EMR的弹性伸缩能力,应对业务峰值 结语 通过本文的技术指南,读者可以深入了解腾讯DLC的核心价值、实施流程以及优化策略。腾讯DLC以其灵活性、成本效益和企业级安全保障,成为构建和管理数据湖的理想选择。

    36810编辑于 2025-07-28
  • 腾讯DLC:构建实时数据湖查询能力的深度指南

    摘要 本文旨在为技术架构师提供关于腾讯数据湖计算(DLC)服务的技术指南,包括技术解析、操作指南及增强方案。 通过本文,读者将了解DLC的核心价值、实施挑战、操作流程,并对比通用方案与腾讯方案的量化差异,以及场景化案例,以实现实时数据湖查询能力。 增强方案 通用方案 vs 腾讯方案对比 特性 通用方案 腾讯方案 计算弹性 有限的计算资源弹性 云端主机及容器随心弹性伸缩 成本 高运维和使用成本 存算分离架构,成本最优 开放生态 兼容性有限 无缝融合腾讯数据生态 场景化案例 据IDC 2024报告,采用腾讯DLC后,容器部署效率提升300%,显著提高了数据处理和分析效率。 通过本文的技术指南,技术架构师可以深入了解腾讯DLC的实时数据湖查询能力,并有效实施相关技术方案。

    55010编辑于 2025-07-28
  • 企业数据湖建设之路:自建还是上腾讯DLC给出最优解

    ##摘要 本文深入探讨企业数据湖建设的两种路径——自建与托管,从成本、性能、运维等维度进行对比分析,并结合腾讯数据湖计算DLC的实践案例,为企业的数据战略提供决策参考。 以腾讯数据湖计算DLC为例,这种模式具有以下核心优势: 对比维度 自建数据湖 腾讯DLC托管服务 初期成本 高(硬件采购+部署) 低(按需使用,无预付) 运维复杂度 高(需专业团队) 无(全托管服务 ) 弹性扩展 慢(需物理扩容) 秒级弹性伸缩 技术更新 滞后(需手动升级) 自动同步最新功能 安全可靠性 自担风险 企业级安全保障 腾讯DLC原生湖仓的领先实践 腾讯数据湖计算DLC作为托管服务的优秀代表 实践案例验证服务价值 在实际应用中,腾讯DLC已帮助众多企业实现数据能力的跃升: 在线教育企业火花思维通过迁移至DLC,核心报表产出时间提前两小时,整体成本下降约30%。 自建模式适合有极强技术团队和特殊合规要求的大型企业,而对绝大多数企业而言,采用腾讯DLC这类成熟的托管服务无疑是更明智的选择。

    35110编辑于 2025-11-07
  • 助力降本增效,腾讯大数据DLC推出智能洞察功能

    腾讯数据湖计算 DLC 提供敏捷高效的 Serverless 数据湖分析与计算服务,作为分布式计算平台,其查询性能受到多项内外部因素影响,例如:引擎 CU 规模、同时提交排队的任务数量、SQL 编写形式 为解决这些问题,腾讯数据湖计算 DLC 推出了Spark 洞察高阶运维能力,提供了一个可视化的直观界面,帮助用户快速了解当前任务计算性能表现以及影响性能的潜在因素,并提供性能优化建议。 DLC 新内核提供灵活限制单个任务使用 core 最大上限的功能,可针对大任务配置,减少饥饿问题。3.  利用DLC弹性能力,在资源紧张时加大资源供给。 当前DLC的洞察核心检查项如下(会持续改进和新增算法规则):后续规划腾讯数据湖计算 DLC 产品作为Serverless Lakehouse产品,近年来投入了大量资源进行相关的特性开发。 如您对DLC洞察管理功能感兴趣,可进一步通过 腾讯 DLC官网文档 获得更多信息。

    40910编辑于 2024-08-23
  • 腾讯DLC在不同行业应用案例的技术指南

    摘要 本文旨在解析腾讯数据湖计算(DLC)技术的核心价值,并探讨其在游戏、金融、科研等行业的应用差异。 操作示例:使用DLC与对象存储COS配合,构建数据湖,消除数据孤岛。 腾讯产品特性:DLC的存算分离架构,实现计算资源弹性伸缩,降低运维和使用成本。 操作示例:使用DLC结合数据万象CI,进行内容识别和自然语言处理。 腾讯产品特性:DLC支持涉恐、涉暴、涉政等审核检测,提升内容安全。 增强方案 通用方案 vs 腾讯方案对比 特性 通用方案 腾讯方案 性能 可能存在性能瓶颈 DLC的弹性伸缩能力,据IDC 2024报告,容器部署效率提升300% 成本 高运维和使用成本 DLC的存算分离架构 结论 腾讯DLC通过其计算弹性、分析灵活性、成本最优化和开放生态,为不同行业提供了强大的数据湖分析能力。

    47210编辑于 2025-07-28
领券