腾讯安全发布云原生安全数据湖

9 月 20 日，腾讯安全发布全新一代云原生安全数据湖，专注海量日志数据分析，助力企业构建一体化云原生数据湖平台，迈向主动安全。 两年前，腾讯安全在服务客户过程中发现，客户普遍反应遇到日志存储成本攀升、查询效率低下的问题，因此腾讯安全大数据实验室基于多年的大数据分析处理能力，前后花费两年时间自主研发了一款面向云原生的安全数据湖产品 腾讯云原生安全数据湖是基于云原生的自研数据分析平台，利用日志数据无需修改、大量字段重复、有时间戳等特性进行了几大创新： 架构领先：MPP 架构，采用 Rust 语言开发，针对日志及安全场景进行专项优化 此外，腾讯云原生安全数据湖支持泛安全数据接入、加工、存储、分析、告警、可视化等服务，还具备“插件化”应用开发能力，企业用户可根据需求定制上层应用，并通过平台 +APP+ 合作伙伴构建完整的日志应用生态体系 目前，该数据湖已经集成在腾讯安全 SOC+ 产品下，为企业安全运营管理提供基座。未来，腾讯安全还会对外提供独立产品，助力企业构建云原生数据湖平台。

腾讯安全湖：云原生PB级安全数据分析平台概要

一、 产品定位与核心亮点 腾讯安全湖是一款云原生、低成本、高性能、全栈国产化的安全大数据分析产品。 其核心技术属性为基于自研数据底座引擎的湖仓一体架构，核心商业差异化卖点在于通过“列存储”与“无索引”技术实现极致的成本与性能优势，为企业提供一体化泛安全数据接入、存储、智能分析与可视化服务。 提供从数据采集、分析、检索到监控告警、可视化BI及安全应用开发的完整工作流。 硬核指标 数据规模：支持PB级安全数据智能分析。 数据留存：支持180天以上原始安全数据的威胁调查。 荣誉背书 （原文未提及具体技术荣誉和奖项） 四、 典型案例 案例：某大型互联网公司 背景：客户业务涉及内容、电商和直播，用户量超百万，每日产生海量安全数据。面临安全分析效率与成本挑战。 解决方案：构建云原生安全数据湖解决方案，利用腾讯安全湖提供数据采集汇聚能力，并基于云原生和存算分离技术实现弹性伸缩。 成效： 单日写入峰值超7.21TB。

腾讯安全湖：实现PB级安全数据智能分析与主动防御

构建云原生一体化安全数据分析平台 腾讯安全湖是一款全栈国产化、自主可控的安全大数据分析平台，采用云原生架构实现存算分离。 部署腾讯安全湖后： 日均处理非压缩数据>18TB，峰值QPS>80万（来源：性能测试报告） 200TB数据仅需3台硬件，较开源方案减少17台，硬件开销降低85% 实现百亿级历史数据与百万级威胁情报的秒级碰撞回溯 全栈国产化信创架构通过合规验收 在某关基单位Splunk替换项目中，腾讯安全湖基于麒麟V10系统与信创x86芯片部署，3节点1周完成部署，1个月稳定运营。 技术优势获权威测试验证 腾讯安全湖采用自研原子能力实现处理、查询、存储、分析一体化，具备以下技术特性： 云原生弹性伸缩，支持秒级扩缩容与无限量存储 列存储压缩算法，针对重复数据实现10-20倍压缩比 插件化 APP架构，内置腾讯安全场景应用并支持自定义扩展 平台已通过多家大型企业PB级数据压力测试，在数据接入规模、查询效率、成本控制方面均达到行业领先水平，为能源、金融等关基领域提供主动防御能力支撑。

确保腾讯云DLC数据湖安全的数据保护技术指南

摘要 本文旨在为使用腾讯云数据湖计算（DLC）的客户提供一个全面的技术指南，以确保数据湖中数据的安全性。我们将分析数据安全性的核心价值和挑战，提供操作步骤，并对比通用方案与腾讯云方案的优势。 技术解析 核心价值与典型场景 腾讯云数据湖计算（DLC）是一种敏捷高效的数据湖分析服务，它允许用户简单快速地开始云端数据联合分析。 操作指南 实施流程 步骤1：数据加密 原理说明：使用腾讯云DLC的数据加密功能，确保数据在传输和静态存储时的安全。 内置合规检查工具 成本效益 高运维成本 存算分离架构，成本最优 场景化案例 某金融公司在使用腾讯云DLC构建数据湖时，通过腾讯云KMS实现数据加密，确保了金融数据的安全性。 结语 通过遵循本技术指南，企业可以确保在腾讯云DLC中构建的数据湖的数据安全性，同时利用腾讯云产品的特性提升数据处理效率和降低成本。如需进一步的技术咨询，请联系腾讯云的销售和技术支持团队。

腾讯安全湖：云原生一体化安全大数据分析平台

一、 产品定位与核心亮点 腾讯安全湖是一款云原生、低成本、高性能、自研且全栈国产化的安全大数据分析产品。产品定位为 PB 级安全数据智能分析平台。 升级至安全湖处理后，不仅可极大降低节点数和存储成本，还支持更灵活的语法查询与 180 天以上历史数据回溯。 Splunk 国产化替换：适用于面临国产化替代压力的大型政企。 自动化威胁发现体系：无缝集成 NDR 网络流量数据，并内置腾讯情报、腾讯漏洞库及专家规则，实现针对 0day 漏洞和 APT 攻击的自动化历史回扫。 解决方案：针对客户的安全分析痛点，构建了云原生安全数据湖解决方案。平台提供强大的数据采集汇聚能力，并利用云原生与存算分离技术实现资源的弹性伸缩。 通过打造一体化安全分析平台打通工作流，支持 PB 级数据分析、未知威胁发现和快速威胁狩猎。 成效： 数据吞吐：在腾讯云原生数据湖单日写入峰值超过 7.21TB。

腾讯云数据湖计算DLC的数据安全和权限管理技术指南

摘要 本文旨在解析腾讯云数据湖计算（DLC）在数据安全和权限管理方面的核心价值，并提供操作指南以及增强方案的对比。 通过本文，读者将了解如何利用腾讯云DLC确保数据湖环境中的数据安全性和合规性，同时提高数据处理的效率和敏捷性。 技术解析 核心价值与典型场景 腾讯云数据湖计算DLC提供了一个敏捷高效的数据湖分析服务，支持多种数据源的接入和联合分析。其核心价值在于能够简化数据湖的构建和管理，同时保障数据的安全性和合规性。 提供审计日志，满足合规性要求 场景化案例 据IDC 2024报告，采用腾讯云DLC后，企业在数据湖构建和管理方面的效率提升了200%，同时数据安全事件减少了30%。 通过本文的技术指南，读者可以深入了解腾讯云数据湖计算DLC在数据安全和权限管理方面的优势，并结合操作指南和增强方案，构建一个既安全又高效的数据湖环境。

腾讯安全湖：云原生全栈国产化安全大数据分析产品概要

一、产品定位与核心亮点 腾讯安全湖是一款云原生、低成本、高性能、自研、全栈国产化的安全大数据分析产品，核心定位为PB级安全数据智能分析平台。 ，并提供“插件化”应用开发能力，助力企业构建云原生湖仓一体安全分析平台。 解决方案：构建云原生安全数据湖解决方案，提供数据采集汇聚能力；基于腾讯云原生数据湖实现单日写入峰值超7.21TB，打造一体化安全分析平台，利用云原生和存算分离技术实现弹性伸缩与PB级数据分析，打通安全数据分析工作流 解决方案：使用腾讯安全湖的快捷接入和解析能力，实现安全、运维设备日志的统一接入与解析，依托低成本存储与高性能检索能力开展分析。 案例4：极致的降本增效最佳实践 背景：企业安全数据存储与分析成本高，大数据查询效率不足，制约安全运营效率。 解决方案：依托腾讯安全湖的极致压缩比技术，优化存储与计算资源配置，提升查询性能。

数据湖计算中的隐私保护技术：腾讯云DLC如何保障企业数据安全？

本文从数据加密、访问控制、联邦学习等维度解析数据湖计算中的隐私保护技术，并结合腾讯云DLC（Data Lake Compute）的实践，为企业提供安全可靠的数据湖解决方案。 本文将从技术原理与腾讯云DLC的落地实践出发，探索数据湖计算中的隐私保护之道。 二、腾讯云DLC的隐私保护实践 腾讯云DLC作为Gartner2025年认证的全球22家湖仓平台代表厂商之一，在隐私保护领域具备以下核心能力： 技术特性 腾讯云DLC实现方案 结语 数据湖计算的价值释放离不开隐私保护技术的支撑。腾讯云DLC凭借全链路安全防护、灵活的权限体系及领先的联邦学习能力，为企业构建了“可用不可见”的数据湖底座。 即日起，新用户可抢购4折现金券以及计算引擎5折优惠，助力企业安全拥抱数据湖时代！

腾讯安全湖全流量方案：PB级数据压缩与长周期威胁回溯

数据来源： 腾讯安全运营中心总监 齐恒，2024腾讯全球数字生态大会 构建PB级全流量存储与NDR联动方案 腾讯安全湖全流量解决方案通过云原生技术构建高性能、低成本的分析平台。 方案采用“NDR全流量检测 + 安全湖存储分析”的双层架构： 核心技术支撑 底层引擎： 采用纯自研、全栈国产化的数据底层引擎，支持列存储、无索引架构，专注于安全场景优化。 存储层（安全湖）： 支持弹性扩容，提供近乎无限的存储能力，解决原始数据的长周期留存问题。 核心能力指标 硬件成本： 同等规模下，硬件成本仅为Elasticsearch（ES）的1/10。 技术领先性与架构优势 为什么选择腾讯安全湖全流量方案？基于以下核心差异化能力： 极致性价比： 自研数据引擎使得同等数据规模下的硬件成本仅为ES的1/10，解决持续增长的数据存储成本痛点。 深度安全场景集成： 不同于通用大数据平台，该方案专注安全领域，集成腾讯NDR检测能力与威胁情报，支持插件式能力扩展（如机器学习、响应处置、可视化BI）。

腾讯云原生智能数据湖发布会将开，首次透露腾讯云数据湖产品全景矩阵

其中腾讯云，已经构建了完善的数据湖技术与产品矩阵，围绕数据湖存储、数据湖分析、数据湖 AI，数据湖算力调度覆盖数据业务全场景，形成综合性云端数据湖解决方案，帮助企业高效构建云端数据湖架构。 5月13日下午，腾讯云将在北京举办“云原生智能数据湖”媒体发布会。 1565881658.jpg 会上，腾讯云将首次对外展示完整数据湖产品矩阵以及发布数据湖系列新品，助力企业数据资源的高效共享。 目前，腾讯云数据湖体系已服务众多内外部客户，算力弹性资源池达 500万核，存储数据超过100PB，日采集数据量超500TB，每日分析任务数达1500万，每日实时计算次数超过万亿，能支持上亿维度的数据训练 腾讯新闻拥有千亿级的文章数量，每篇文章各环节数据维度达到几百个，多维度的数据主题导致各个业务环节的数据量线性膨胀，这给数据分析带了极大的挑战。 基于腾讯云原生数据湖技术架构，在数据采集、数据存储、数据分析的全数据链条上提供了高可靠高可用的弹性数据能力。

腾讯数据湖实践 | IceBerg在腾讯的优化和实践

腾讯云数据湖计算DLC技术指南：构建高效数据湖分析架构

我们将解析数据湖分析的关键挑战，并通过步骤化的流程，展示如何利用腾讯云产品特性来解决这些挑战。最后，我们将通过对比表格和场景化案例，展示腾讯云方案的量化优势。 技术解析 核心价值与典型场景 腾讯云数据湖计算DLC是一种帮助客户快速构建云端数据湖分析架构的服务，它支持多元化分析场景，减少开发运维成本，并大幅提升数据敏捷度，助力企业数字化决策。 安全风险：数据分散在多个存储服务中，如何确保数据的安全性和合规性。 成本优化：如何实现存储资源与计算资源的最优配比，以降低数据湖的运维和使用成本。 成本最优 安全 数据分散，安全风险高 无缝融合腾讯云数据生态，安全可靠 场景化案例 来源：客户实践 案例描述：某电商企业使用腾讯云DLC构建数据湖，通过存算分离和数据冷热分层处理，降低了50%的运维成本 通过本技术指南，用户可以深入了解腾讯云数据湖计算DLC的技术优势，并掌握实施流程。腾讯云DLC通过其高性能、成本优化和开放云生态的特性，为用户提供了一个强大的数据湖分析解决方案。

腾讯挖了一个湖

企业数据量越来越大； 数据类型越来越复杂； 数据管理越来越吃力； 现有的数据仓库技术无法满足海量、多样的数据处理需求 …… 为了帮助企业解决这些苦恼，今天，腾讯云正式发布国内首个云原生智能数据湖产品图谱 数据湖算力引擎：基于腾讯云弹性容器服务EKS，开放的容器化的分析架构让数据分析功能可组合性更强，扩展性更强，资源利用率更高。 数据湖AI: 针对越来越多的音视图文数据，腾讯云数据湖包含丰富的AI服务， 为图像处理、音频处理、自然语言处理、视频处理等提供有力的数据支撑。 数据湖应用：推出基于数据湖的数据应用服务，比如企业画像、联邦计算、商业智能分析等。 云上基础服务：应用安全、网络安全、访问管理等为腾讯云数据湖体系提供了有力保障。 One more thing! 腾讯云大数据 ? 长按二维码 关注我们

腾讯云数据湖存储 GooseFS 技术概要

主讲人： 林楠（腾讯云高级产品经理） 数据来源： 2024 腾讯全球数字生态大会；Fivetran data analyst survey (2020)；DataBricks 论文《Lakehouse: New Generation of Open Platforms that Unify DataWarehousing and Advanced Analytics》 一、 产品定位与核心亮点 数据湖存储 GooseFS 是腾讯云推出的高性能分布式缓存与元数据加速服务，旨在打通数据从存到用的最后一公里。 企业级数据湖管理 受众： 企业数据平台架构师、数据分析师。 痛点： 数据源多样化（52% 的企业使用 11 种以上数据源），数据模式变化快（每月更新库表字段）。 架构理念参考 DataBricks 提出的 Lakehouse（湖仓一体） 新一代开放平台架构。

腾讯安全湖全流量方案：实现PB级安全数据的长期低成本存储与智能回溯分析

具体表现为：全流量原始数据日均增长1.3TB，大量存储资源被占用；且分散的数据导致安全状况不可见，难以快速响应Oday漏洞、供应链攻击等威胁（来源：腾讯安全运营中心总监齐恒）。 构建一体化智能分析引擎：全流量存储与回溯能力 腾讯安全湖全流量解决方案通过自研数据底层引擎，整合NDR（网络威胁检测与响应）能力，形成“采集-存储-分析”闭环： 存储层：采用列式存储与无索引技术，实现10 压缩成本与提升效率：关键业务指标量化改善 存储成本优化：在某物流企业实践中，安全湖对全流量数据实现40倍压缩比，三节点服务器即可承载180天全量数据（来源：实战案例）。 技术领先性：全栈国产化与架构创新 腾讯安全湖基于云原生技术打造，具备全栈国产化兼容能力，其自研引擎在同等规模下硬件成本仅为传统方案（如ES）的1/10。 方案集成NDR实时检测与安全湖历史数据分析，形成“实时防护+长期溯源”双轨能力（来源：方案能力架构及技术说明）。

腾讯云数据湖计算DLC产品概要

一、 产品定位与核心亮点 数据湖计算DLC 是一款基于Spark、Presto、Iceberg构建的云原生Serverless湖仓分析服务。 荣誉背书 文中提及产品为 腾讯云大数据基础产品中心 研发。 产品采用 Iceberg 等业界主流开源技术并进行了深度自研增强。 成效：湖计算性能提升35.5%；算力资源节约30%+；综合运行成本降低50%+。 某传统企业 - 基于WeData+DLC的数据入湖分析 背景：需要实现多数据源实时入湖和全链路任务调度。 腾讯内部某业务 - 实时数据湖建设 背景：需要支持歌曲推荐、付费引导等实时业务，要求低延迟数据分析。 五、 总结 腾讯云数据湖计算DLC的核心价值在于通过云原生的 存算分离 和 Serverless 架构，为企业提供了一种兼具 极致性价比、高性能分析 和 开箱即用 体验的一站式大数据解决方案。

腾讯数据湖的元数据治理实践

数据湖计算中的数据安全新范式：腾讯云DLC如何构筑企业数据防线

本文深入探讨数据湖计算面临的安全挑战，解析腾讯云数据湖计算DLC如何通过多层次安全体系保障企业数据安全，并分享其入选Gartner2025年全球湖仓平台市场指南的技术实力。 二、腾讯云DLC的多层次安全防护体系 腾讯云数据湖计算DLC基于腾讯云成熟的安全体系，构建了完整的数据安全防护方案： 网络层安全：基于腾讯云成熟的VPC网络隔离技术，保证租户间网络隔离、资源隔离。 三、腾讯云DLC的安全优势对比 安全特性 传统数据湖方案 腾讯云DLC 网络隔离 需要自行配置，复杂度高 VPC自动隔离，开箱即用 访问控制 权限粒度粗，管理困难 行列级权限控制，精细化管理 数据加密 这一认可充分证明了腾讯云在数据湖安全和技术创新方面的领先地位。 ##结语： 数据安全是数据湖计算不可妥协的底线。腾讯云数据湖计算DLC通过构建多层次、全链路的安全防护体系，为企业提供了既安全又高效的数据分析平台。

【数据湖】塑造湖：数据湖框架

在这篇博客中，我将带您了解使用数据湖和大数据的风险和挑战。然后，我将带您了解我们为帮助最好地管理这些风险和挑战而创建的框架。 准确性——当数据量不同、来源和结构不同以及它们到达湖的速度不同时，我们如何保持准确性和准确性？ 同时管理所有四个是挑战的开始。 很容易将数据湖视为任何事物的倾倒场。 框架 我们把湖分成不同的部分。关键是湖中包含各种不同的数据——一些已经过清理并可供业务用户使用，一些是无法辨认的原始数据，需要在使用之前进行仔细分析。 微信小号 【cea_csa_cto】50000人社区，讨论：企业架构，云计算，大数据，数据科学，物联网，人工智能，安全，全栈开发，DevOps，数字化. QQ群 【792862318】深度交流企业架构，业务架构，应用架构，数据架构，技术架构，集成架构，安全架构。以及大数据，云计算，物联网，人工智能等各种新兴技术。

腾讯云数据湖专题直播蓄势待发

您想与大咖面对面畅聊数据湖吗？ 您想高效使用数据湖吗？ 来云加社区腾讯云大咖为您解答。 腾讯云数据湖专题直播马上就要开播啦！ 腾讯云数据湖专题直播马上就要开播啦！ 腾讯云大咖讲师与您相约云加社区直播间，赶快拿起手机报名吧！更有诸多精美礼品公仔、抱枕、毛绒按摩器等您来领取！ 雁栖学堂-湖存储专题直播是腾讯云主办的国内首个湖存储百科知识直播节目，是一个围绕湖存储技术领域，基于存储加速服务，覆盖了前沿趋势，时事热点，用户案例，大咖分享，开发者成长路径等内容的直播交流平台。 雁栖学堂是数据湖系列的专项直播将于8月24日19:00正式开播，本期是湖存储专题的第一期，属于数据湖的入门篇。数据湖专题直播一共有九期，我们相约云加社区，不见不散 ! 雁栖学堂是数据湖系列的专项直播具体排期如下： 报名就有机会领取精美礼品一份（公仔，抱枕，毛绒按摩器），直播中还有互动抽奖环节哦，期待您的加入！ — END —