首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏运维入门时间

    flink-sql 流计算可视化 UI 平台

    朋友多年自主研发的flink-sql 流计算可视化 UI 平台,细细品味一番确实很好用,做到真正的MSP(混合云场景)多数据多复用的情况实现,下面是这个产品的使用说明看看大家有没有使用场景。 目的是减少开发,完全实现flink-sql 流计算任务 支持本地模式、yarn-per模式、STANDALONE模式 支持udf、自定义连接器等,完全兼容官方连接器 目前flink版本已经升级到1.12

    2.6K10编辑于 2022-05-29
  • 来自专栏Lansonli技术博客

    2021年大数据Flink(三十九):​​​​​​​Table与SQL ​​​​​​总结 Flink-SQL常用算子

    ---- 总结 Flink-SQL常用算子 SELECT SELECT 用于从 DataSet/DataStream 中选择数据,用于筛选出某些列。

    1.1K30发布于 2021-10-11
  • 来自专栏数栈技术分享

    数栈技术分享:用短平快的方式告诉你Flink-SQL的扩展实现

    一、我们为什么扩展Flink-SQL? 由于Flink 本身SQL语法并不提供在对接输入源和输出目的的SQL语法。 我们的目的是在使用Flink-SQL的时候只需要关心做什么,而不需要关心怎么做。不需要过多的关心程序的实现,专注于业务逻辑。 接下来,我们一起来看下Flink-SQL的扩展实现吧!

    2.9K00发布于 2021-06-17
  • 来自专栏最新最全的大数据技术体系

    2021年最新最全Flink系列教程__FlinkTable&SQL(六、七)

    Flink Table&SQL发展历史 了解为什么要使用Table API & SQL 掌握Flink Table&SQL进行批处理开发 掌握Flink Table&SQL进行流处理开发 掌握常用的开发案例 Flink-SQL old Planner 和 Blink Planner ,Blink Planner 底层实现了 流批一体(默认的Planner) FlinkTable & SQL 程序结构 动态表 & 连续查询 Flink-SQL

    25210编辑于 2021-12-07
  • 来自专栏大数据-BigData

    使用flink插入数据到hudi数据湖初探

    taskmanager.numberOfTaskSlots的值为4 taskmanager.numberOfTaskSlots: 4 启动flink集群 bin/start-cluster.sh 启动flink-sql

    1.5K20编辑于 2022-01-19
  • 来自专栏大数据成神之路

    尝鲜!Flink1.12.2+Hudi0.9.0集成开发

    二、Batch模式具体实施步骤: 2.1、 启动flink-sql客户端,可以提前把hudi-flink-bundle_2.12-0.9.0-SNAPSHOT.jar(我用的flink是scala2.12

    1.4K60发布于 2021-05-07
  • 来自专栏Lansonli技术博客

    2021年大数据Flink(三十八):​​​​​​​Table与SQL ​​​​​​案例五 FlinkSQL整合Hive

    hive/conf      default-database: default 2.启动flink集群 /export/server/flink/bin/start-cluster.sh 3.启动flink-sql

    1K30发布于 2021-10-11
  • 来自专栏ApacheHudi

    Apache Flink 1.12.2集成Hudi 0.9.0运行指南

    Batch写 2.1 环境启动 启动flink-sql客户端,提前把hudi-flink-bundle_2.12-0.9.0-SNAPSHOT.jar(笔者使用flink scala2.12版本,如果是

    2.5K40发布于 2021-04-13
  • 来自专栏大数据学习与分享

    Flink-CDC同步MySQL到Hive实践

    启动flink-sql client 先在yarn上面启动一个application,进入flink13.5目录,执行: bin/yarn-session.sh -d -s 2 -jm 1024 -tm

    1.4K10编辑于 2023-11-30
  • 来自专栏about云

    Flink1.8新版发布:都有哪些改变

    在maven术语中,它们不再具有sql-jar限定符,而artifactId现在以前缀为例,flink-sql而不是flink例如flink-sql-connector-kafka。

    1.6K20发布于 2019-05-07
  • 来自专栏大数据成神之路

    Flink1.8.0发布!新功能抢先看

    在maven术语中,它们不再具有sql-jar限定符,而artifactId现在以前缀为例,flink-sql而不是flink例如flink-sql-connector-kafka。

    1.6K20发布于 2019-05-23
  • 淘宝闪购实时分析黑科技:StarRocks + Paimon撑起秋天第一波奶茶自由

    Flink-UDAF,在 Flink-SQL 中完成聚合操作,使用 Deduplicate merge-engine 入湖。 bitmap_agg 和 bitmap_union 操作,并序列化为 bytes 类型返回;接入 ODPS 城市/区县维表(全量缓存),Lindorm 用户分层维表(LRU 策略);TT 数据入湖,Flink-SQLFlink-SQL 中因原生不支持 Bitmap 操作,需通过 UDAF 函数实现 int 与 Bitmap 的互转、聚合及序列化为 BYTES 类型存储,注意准确处理回撤流的逻辑修正。

    64410编辑于 2025-09-04
  • 来自专栏深度学习与python

    如何构建智能湖仓架构?亚马逊工程师的代码实践来了 | Q推荐

    下载kafka connector sudo wget -P /usr/lib/flink/lib/ https://repo1.maven.org/maven2/org/apache/flink/flink-sql SNAPSHOT.jar # 下载 cdc connector sudo wget -P /usr/lib/flink/lib/ https://repo1.maven.org/maven2/com/ververica/flink-sql

    1.3K30发布于 2021-12-02
  • 来自专栏ApacheHudi

    超详细步骤!整合Apache Hudi + Flink + CDH

    char8": "dddddd", "varchar9": "buy0", "string10": "buy1", "timestamp11": "2021-09-13 03:08:50.810"} 启动flink-sql

    4K42发布于 2021-11-19
  • 来自专栏罗西的思考

    [源码解析] Flink UDAF 背后做了什么

    0xFF 参考 Flink - 当数据流入window时,会发生什么 Flink SQL 自定义UDAF 自定义聚合函数(UDAF) Apache Flink - 常见数据流类型 Flink-SQL源码解读

    1.4K20发布于 2020-09-07
  • 来自专栏Hadoop实操

    0878-1.6.2-如何在CDP7.1.7中安装SSB

    1.文档编写目的 SQL Stream Builder(SSB)是Cloudera提供的基于Flink-SQL的实时流计算Web开发平台,它提供了一个交互式的Flink SQL编辑器,让用户可以方便的使用

    1.9K40编辑于 2022-04-18
  • 来自专栏857-Bigdata

    【建议收藏】Flink watermark分析实战

    shopId string, " +" shopName string," +" eventTime bigint, "//flink-sql

    1.2K21编辑于 2023-05-23
  • 来自专栏Lansonli技术博客

    大数据入门学习框架

    、​​​​​​​Table与SQL ​​​​​​案例四 38、​​​​​​​Table与SQL ​​​​​​案例五 FlinkSQL整合Hive 39、​​​​​​​Table与SQL ​​​​​​总结 Flink-SQL

    2K75编辑于 2022-10-09
  • 来自专栏一名合格java开发的自我修养

    再也不担心写出臃肿的Flink流处理程序啦,发现一款将Flink与Spring生态完美融合的脚手架工程-懒松鼠Flink-Boot

    注解生效模块 ├── flink-mybatis -- mybatis orm模块 ├── flink-retry -- 注解重试机制模式 ├── flink-validate -- 校验模块 ├── flink-sql

    2.7K20发布于 2020-12-07
  • 来自专栏DataLink数据中台

    用户投稿 | IDEA 调试 Dinky Kafka 问题经验分享

    此外,类似与 mysql cdc 等依赖的引入也建议使用带有 flink-sql 的 jar 包可以避免很多问题。

    86310编辑于 2024-02-29
领券