用户10897455

文章/答案/技术大牛

发布

LV0

我关注的人

flink exectly-once系列之两阶段提交概述

二、TwoPhaseCommitSinkFunction与FlinkKafkaProducer源码分析

Flink实战剖析 2022-04-182022-04-18 11:23:05

flink、大数据

Flink源码解读系列 | Flink中接收端反压以及Credit机制

可以看到每个task都会有自己对应的IG(inputgate)对接上游发送过来的数据和RS(resultPatation)对接往下游发送数据, 整个反压机制通过...

大数据真好玩 2020-09-222020-09-22 10:18:28

java、http、android

Flink中时间和窗口

如图所示，在事件发生之后，生成的数据被收集起来，首先进入分布式消息队列，然后被 Flink 系统中的 Source 算子读取消费，进而向下游的转换算子（窗口算子...

ha_lydms 2023-08-102023-08-10 09:24:45

flink、函数、事件、数据、统计

Spark数据倾斜解决

Spark中的数据倾斜问题主要指shuffle过程中出现的数据倾斜问题，是由于不同的key对应的数据量不同导致的不同task所处理的数据量不同的问题。

五分钟学大数据 2022-10-052022-10-05 19:27:51

mapreduce、spark、hive

Hive 常见的数据倾斜及调优技巧

Hive在执行MapReduce任务时经常会碰到数据倾斜的问题，表现为一个或者几个reduce节点运行很慢，延长了整个任务完成的时间，这是由于某些key的条数比...

大数据技术架构 2020-05-212020-05-21 21:51:11

hive

【Spark篇】---Spark解决数据倾斜问题

数据倾斜问题是大数据中的头号问题，所以解决数据清洗尤为重要，本文只针对几个常见的应用场景做些分析。

LhWorld哥陪你聊算法 2018-09-132018-09-13 14:20:19

其他

数据倾斜？Spark 3.0 AQE专治各种不服(下)

FreeWheel团队通过高效的敏捷开发赶在 2020 年圣诞广告季之前在生产环境顺利发布上线，整体性能提升高达 40%（对于大 batch）的数据，AWS C...

大数据真好玩 2021-02-232021-02-23 16:09:02

批量计算、spark

数据倾斜？Spark 3.0 AQE专治各种不服(上)

Spark3.0已经发布半年之久，这次大版本的升级主要是集中在性能优化和文档丰富上，其中46%的优化都集中在Spark SQL上，SQL优化里最引人注意的非Ad...

大数据真好玩 2021-02-232021-02-23 16:09:22

spark、sql、大数据

个人简介

暂未填写公司和职称
暂未填写个人简介
暂未填写技能专长
暂未填写学校和专业
暂未填写个人网址
暂未填写所在城市
加入社区时间：2023-12-28

个人成就

TA 很懒，什么都没有留下╮（╯＿╰）╭

关注了：0关注者：0