首页
学习
活动
专区
圈层
工具
发布
首页标签大数据

#大数据

腾讯云大数据解决方案,助力客户快速构建企业级数据架构,获取数据时代核心竞争优势

考古|深分页在 ES 2.1 起被限到 10000,scan 也被 scroll 取代

岳涛

腾讯云TDP | 官方产研 (已认证)

2.1 里两件事一起发生:scan 这种 search type 被废弃,改成"按 _doc 排序的 scroll";同时 from + size 超过 ind...

1100

ES 的 Behavioral Analytics 9.0 起整块弃用,用到的要规划替代方案

岳涛

腾讯云TDP | 官方产研 (已认证)

ES 的 Behavioral Analytics(行为分析)从 9.0 起标记弃用,将在未来版本移除。API 目前还能用,但会返回警告头。这是个"整块功能下线...

1200

Spark 核心之 Cluster 模式提交命令和特点分析

starzy

摘要:这是 Spark 部署模式系列的终章。如果说 Client 模式是你手中的风筝,Cluster 模式就是放飞到云端的无人机——spark-submit 提...

300

Spark 核心之 Application 和 Job 原理剖析

starzy

摘要:你是否清楚一个 Spark 应用中到底有几个 Job?为什么 .collect() 会触发 Job 而 .map() 不会?Application、Job...

1010

从业务规划到模型发布,qData 数据建模如何实现全流程管理?

吴同

企业数据越积越多,找表却越来越难;同一指标,销售和财务算出两个数。问题往往不在数据本身,而在于缺少统一的建模管理流程。

2510

以实时驱动智能:Apache Doris Summit 2026 盛大落幕,开启 Agentic AI 时代数据新范式

SelectDB技术团队

2026 年 10 月 21 日至 22 日,由飞轮科技主办的 Apache Doris Summit 2026 线上技术峰会圆满落下帷幕。本次峰会以 “Pow...

2600

从实时入库到实时可用:Apache Doris 5.0 增量计算场景与实践

SelectDB技术团队

导读:Apache Doris 5.0 增量计算预告(1)|场景方案篇:数据的实时写入只是第一步,如何让下游指标与宽表低延迟、低成本地同步变更,是实时数仓搭建的...

2500

Spark 核心之广播变量、累加器原理深度剖析

starzy

摘要:Spark 分布式计算的本质是"数据分发 + 并行处理"。但在 Executor 之间共享变量时,常规做法(如闭包引用)会导致严重的性能问题——大变量重复...

2610

ES 异常检测的 flush API 被弃用,因为唯一用途已经没人用

岳涛

腾讯云TDP | 官方产研 (已认证)

9.0 起 POST _ml/anomaly_detectors/<id>/_flush 标记弃用。官方给的理由是一条因果链:flush 只在 post dat...

15610

考古|升到 ES 2.0 后搜索结果结构变了,partial fields 和 count 要改

岳涛

腾讯云TDP | 官方产研 (已认证)

2.0 迁移文档的 Search changes 一节,单条看都不大,但升级后容易造成结果结构不一致:partial fields 被删除改用 source f...

11210

Spark 核心之 Stage 并行度划分及优化详解

starzy

摘要:为什么你的 Spark 任务 CPU 利用率只有 30%?为什么有些 Task 1 秒跑完有些要 10 分钟?这背后都是并行度(Partition 数 =...

4710

Spark 核心之 Client 模式提交命令和特点分析

starzy

摘要:spark-submit 是用 Spark 的第一道门槛。一条命令背后隐藏着 Driver 位置、资源分配策略、参数优先级、Standalone vs Y...

4810

Spark 核心之 Executor 与线程池原理剖析

starzy

摘要:如果 Driver 是 Spark 的大脑,Executor 就是它的计算引擎。一个 Executor 是一个独立的 JVM 进程,内部通过固定大小的线程...

3100

打造你的数据虚拟员工:腾讯云TCDataAgent数据智能解决方案

腾讯云大数据

导读:什么样的 Agent 才是真正可落地的企业级 Data Agent ?单 Agent 打天下不够,「越用越聪明」不够,能统一调度内外部 Agent 才够。...

6610

Spark 核心之 YARN-Cluster 模式:原理、流程与源码级深度拆解

starzy

摘要:YARN-Cluster 是生产环境中 Spark 应用的终极部署方案。它的核心特征是——ApplicationMaster 不再只是资源代理,而是承担完...

6710

Spark 核心之 Standalone-Cluster 模式:原理、流程与源码级深度拆解

starzy

摘要:如果说 Client 模式是开发者的"调试利器",那么 Cluster 模式就是生产环境的"定海神针"。Driver 不再运行在你的笔记本上,而是被 Ma...

6710
领券