- 综合排序
- 最热优先
- 最新优先
- 来自专栏阿杜的世界
【译】使用Apache Kafka构建流式数据平台（1）何为流式数据平台？
这份指南的第一部分是关于流式数据平台（steam data platform）的概览：什么是流式数据平台，为什么要构建流式数据平台；第二部分将深入细节，给出一些操作规范和最佳实践。 何为流式数据平台？ 2010年左右，我们开始构建一个系统：专注于实时获取流式数据（stream data），并规定各个系统之间的数据交互机制也以流式数据为承载，同时还允许对这些流式数据进行实时处理。 流式处理：对流式数据进行持续、实时的处理和转化，并将结果在整个系统内开放。 在角色1中，流式数据平台就像数据流的中央集线器。 流式数据平台的角色2包含数据聚合用例，系统搜集各类数据形成数据流，然后存入Hadoop集群归档，这个过程就是一个持续的流式数据处理。流式处理的输出还是数据流，同样可以加载到其他数据系统中。
1.5K20发布于 2018-08-06 - 来自专栏奇点大数据
Flume：流式数据收集利器
在数据生命周期里的第一环就是数据收集。收集通常有两种办法，一种是周期性批处理拷贝，一种是流式收集。今天我们就说说流式收集利器Flume怎么使用。 使用flume收集数据保存到多节点 by 尹会生 1 使用flume 收集数据到hdfs 由于工作的需要，领导要求收集公司所有在线服务器节点的文本数据，进行存储分析，从网上做了些比较，发现flume 我这里的传感器数据被统一收集到了nginx中，因此只要实现将nginx数据输出到hdfs就可以完成汇总了，为了便于分析，nginx的数据打印到了一个固定文件名的文件中，每天分割一次。 那么flume一直监视这个文件就可以持续收集数据到hdfs了。通过官方文档发现flume的tail方式很好用，这里就使用了exec类型的source收集数据。 2 收集数据到多个数据源 完成了领导的任务，继续研究下flume的其他强大功能，测试了一下上面提到的数据同时推送到其他节点的功能，使用的方法就是指定多个channel和sink，这里以收集到其他节点存储为文件格式为例
1.5K60发布于 2018-04-11 - 来自专栏程序随笔
聊聊流式数据湖Paimon(四)
Partial Update 数据打宽 通过不同的流写不同的字段，打宽了数据的维度，填充了数据内容；如下所示： --FlinkSQL参数设置 set `table.dynamic-table-options.enabled 数据一致性 数据版本 通过Flink的checkpoint机制，生成Snapshot并标记版本，即，一个Snapshot对应数据的一个版本。 生成的snapshot-xx，就是数据的版本号。 数据对齐 将 Checkpoint 插入到两个 Snapshot 的数据之间。 数据血缘 概念 数据从产生到消费的整个流转过程中所经历的各种转换、处理和流动的轨迹。 数据血缘提供了数据的来源、去向以及中间处理过程的透明度，帮助用户理解数据如何在系统中被处理和移动，以及数据是如何从原始状态转化为最终的可消费形态。
1.2K10编辑于 2023-12-29 - 来自专栏程序随笔
聊聊流式数据湖Paimon(三)
此类表适合 不需要更新的用例（例如日志数据同步）。 Append 场景特指"无主键"的场景，比如日志数据的记录，不具有直接Upsert更新的能力。 我们已经没有了桶的概念，也不保证流式读取的顺序。 我们将此表视为批量离线表（尽管我们仍然可以流式读写）。 这样，我们就可以轻松地对一个简单的数据目录进行并行压缩。 Sort Compact 每个分区中的数据乱序会导致选择缓慢，压缩可能会减慢插入速度。 将插入作业设置为只写是一个不错的选择，并且在每个分区数据完成后，触发分区排序压缩操作。 同一个桶中的每条记录都是严格排序的，流式读取会严格按照写入的顺序将记录传输到下游。 使用此模式，不需要进行特殊配置，所有数据都会以队列的形式放入一个桶中。
3.8K10编辑于 2023-12-26 - 来自专栏程序随笔
聊聊流式数据湖Paimon(五)
8081，就可以查看Flink的webui 高版本的Flink中已经没有bat脚本，可参考 flink新版本无bat启动文件的解决办法 补充缺失的依赖 Flink的框架搭建好之后，参考 新一代数据湖存储技术
68810编辑于 2023-12-30 - 来自专栏信息化漫谈
淘宝大数据之流式计算
到底什么是大数据？大数据与数据统计有什么区别？如果不理解大数据的承载底层技术，很难讲清楚。因此作为解决方案经理，技术与业务都是作为方案不可缺少的组成部分。今天我们来看一下大数据之流式计算。 一、流式计算的应用场景 我们上一章讲到了数据采集。数据采集之后，如何利用数据呢？将采集的数据快速计算后反馈给客户，这便于流式计算。 流式计算在物联网、互联网行业应用非常之广泛。 在电商“双11”节中，不断滚动的金额数据；在交通展示大通，不断增加的车辆数据，这些都是流式计算的应用场景。 ? 2、流式数据是指业务系统每产生一条数据，就会立刻被发送至流式任务中进行处理，而不需要定时调度任务来处理数据。中间可能会经过消息中间件（MQ），作用仅限于削峰等流控作用。 四、流式数据的特点 1、时间效高。数据采集、处理，整个时间秒级甚至毫秒级。 2、常驻任务、资源消耗大。区别于离线任务的手工、定期调度，流式任务属于常驻进程任务，会一直常驻内存运行，计算成本高。
2.6K40发布于 2019-09-24 - 来自专栏祝威廉
数据天生就是流式的
现在依然很多人使用Azkaban/Oozie等工具衔接各个系统，通过外力让数据进行流转。而随着流式计算慢慢成熟与稳定，数据必然如河水一般，天生就是流式的。 整个过程都是数据自我驱动进行流转，没有使用类似Azkaban/Oozie 等外部工具去让数据从一个系统流转到另外一个系统。 而我之前提出 Transformer架构 本质就是一个流式数据架构。 这个架构的核心概念是： 你开发的任何一个应用，本质上都是将两个或者多个节点连接起来，从而使得数据可以在不同节点之间流转 数据的流转必然由批量到流式 如果说在大数据领域，批量处理是第一次数据革命，那么流式处理则必然是第二次数据革命 从某种角度而言，批量是流式处理的一个特例，譬如隔天处理数据，本质就是时间窗口为一天的流式计算。当然我们也可以实现以数量为窗口的计算。 当你需要借助外力的时候，事情往往就变得并不美好了。 几句话 从另外一个角度而言，流式不过是一个具有无限数据的批处理过程。
43540发布于 2018-08-27 - 来自专栏程序随笔
聊聊流式数据湖Paimon(一)
翻译自 Apache Paimon官方文档 概览 概述 Apache Paimon (incubating) 是一项流式数据湖存储技术，可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力 简单来说，Paimon的上游是各个CDC，即changlog数据流；而其自身支持实时sink与search(下沉与查询)changlog数据流。一般会与Flink等流式计算引擎集成使用。 流式数据湖是一种先进的数据存储架构，专门为处理大规模实时数据流而设计。在流式数据湖中，数据以流的形式持续不断地进入系统，而不是批量存储后处理。 Paimon提供以下核心功能： 统一批处理和流式处理：Paimon支持批量写入和批量读取，以及流式写入更改和流式读取表change log。 对于读取，支持如下三种方式消费数据 历史快照（批处理模式） 最新的偏移量（流模式） 混合模式下读取增量快照 对于写入，它支持来自数据库变更日志（CDC）的流式同步或来自离线数据的批量插入/覆盖。
3.9K11编辑于 2023-12-26 - 来自专栏分享/效率/工具/软件
mybatis 流式读取大量MySQL数据
本文链接：https://blog.csdn.net/qq_37933685/article/details/85100239 title: MyBatis 流式读取MySQL大量数据 date: 2.流式：多次获取，一次一行。 3.游标：多次获取，一次多行。 由于生成报表逻辑要从数据库读取大量数据并在内存中加工处理后再生成Excel返回给客户端。 文章目录 MyBatis 流式读取MySQL大量数据 背景： 开发环境： 实现步骤： 示例代码 心路历程 MyBatis 流式读取MySQL大量数据 背景： 最近公司提了个需求，说公司的旧系统的报表导出的时候 ，数据量超过一万就导不出来了。 list.add(resultContext.getResultObject()); } }); return list; } dao层：(重点) /** * 流式读取数据
7.9K30发布于 2019-09-18 - 来自专栏桥路_大数据
实时数仓：流式数据建模
流式数据模型 架构设计 数据模型设计是贯穿数据处理过程的，在实时流式数据处理中也一样。实时建模与离线建模类似，数据模型整体上分为5层（ODS、DWD、DWS、ADS、DIM）。 ? 其中ODS数据属于操作数据层，是直接从业务系统采集来的原始数据。在这一层上，数据与离线系统是一致的。 ODS层实时进入的数据，会进行去重、清洗等任务，适度做一些维度退化工作，清洗后的数据会存放到DWD层中，DWD数据明细层的数据会回流到消息队列中，从而实时同步到下游实时任务中，同时会持久化到数据库中供离线系统使用 所以维度数据，会由离线系统定期从ODS中获取数据，计算后存放在DIM层中。那为什么维度数据的延迟为T-2？虽然最好情况是使用T-1的数据，即昨天的数据进行计算。 所以为了保证数据一致性，T-1的维度数据虽然已经完成了计算，但不会直接使用，而是继续沿用T-2的维度数据。 数据流向 ODS、DWD层的数据会存放在消息中间件中，如Kafka。
1.9K20发布于 2021-01-06 - 来自专栏程序随笔
聊聊流式数据湖Paimon(二)
当前的问题 Apache Paimon 最典型的场景是解决了 CDC (Change Data Capture) 数据的入湖；CDC 数据来自数据库。一般来说，分析需求是不会直接查询数据库的。 Immutable 的一个分区来计算 所以需要通过 CDC 的方式同步数据库的数据到数据仓库或数据湖里。 存储成本高：每天全量表一个分区存储所有数据，意味着 100 天就需要 100 倍的存储成本。 计算成本高：每天需要读取全量数据，与增量数据进行全量合并，在增量数据不多时浪费严重。 引入Paimon 和其它数据湖不同的是，Paimon 是从流世界里面诞生的数据湖，所以它在对接流写流读、对接 Flink 方面都要比其它数据湖做得更好。 流式入湖方式可以有如下多种方式： Flink SQL 入湖，SQL 处理，可以有函数等 Streaming SQL 的处理 Paimon 一键 Schema Evolution 入湖，好处是 Schema
2.3K20编辑于 2023-12-26 - 来自专栏搜云库技术团队
Mybatis 流式读取大量MySQL数据
最近公司提了个需求 ，说公司的旧系统的报表导出的时候，数据量超过一万就导不出来了。经过分析，是旧系统做了限制。 在更新的时候，查看了导出时虚拟机GC情况，发现原先程序执行时，内存激增，经过Google决定采用流式读取对sql进行优化。 JDBC三种读取方式： 1、 一次全部（默认）：一次获取全部； 2、 流式：多次获取，一次一行； 3、 游标：多次获取，一次多行； mybatis默认采取第一种。 开发环境： jdk1.8 、intellij IDEA 2018 mybatis 3 、 springMVC 、Spring 4 实现步骤： 实现流式读取的方式不止一种，但是我只能说我解决的这种，对不起 list.add(resultContext.getResultObject()); } }); return list; } dao层：(重点) /** * 流式读取数据
4.3K20编辑于 2023-03-15 - 来自专栏数据库与编程
通过流式数据集成实现数据价值（1）
下面我们将详细介绍通过流式数据集成实现数据现代化，以帮助企业了解如何实现数据现代化。适用于解决现实世界中的业务问题。 我们从数据的历史开始：数据是什么？ 传统上我们是如何收集和使用数据的？当前我们如何管理超大规模实时数据的？然后，我们介绍实时流式数据集成的思想：它是什么以及为什么它对当今的企业如此重要。 我们还将探讨企业为从流式数据集成中获得价值所必须采取的步骤。从构建流数据管道开始，然后继续进行数据处理和数据分析。在最后，我们将讨论数据交付和可视化，以及数据的关键任务本质。 通过这些，您不仅会了解流式数据集成对于从实时数据中获取价值的重要性，还将对通过什么实现流数据的意义有所了解，以便解决现实世界中的业务挑战。 但是，最近对流式数据集成平台的介绍使这种处理更加容易实现。
75020编辑于 2022-04-23 - 来自专栏全栈程序员必看
大数据——数据流式处理「建议收藏」
一、概念 大数据中包含两种处理方式：流处理和批处理。 流处理：即流式处理。流式处理假设数据的潜在价值是数据的新鲜度，需要尽快处理得到结果。在这种方式下，数据以流的方式到达。 在数据连续到达的过程中，由于流携带了大量数据，只有小部分的流数据被保存在有限的内存中。流处理方式用于在线应用，通常工作在秒或毫秒级别。 批处理：批处理方式中，数据首先被存储，然后再分析。 Flume：一个可以收集例如日志、事件等数据资源，并将这些庞大数据从各项数据资源中集中存储的工具/服务。 · Flume结构 如图所示，数据发生器产生的数据被单个运行在数据发生器所在服务器上的agent所通过事件event的方式被收集，之后数据收容器从各个agent上汇聚数据存入HDFS或HBase Flume事件 事件是Flume内部数据传输的最基本单元，由一个转载数据的字节数组(该数据组是从数据源接入点传入，并传输给传输器，也就是HDFS/HBase)和一个可选头部构成。
2.1K11编辑于 2022-08-31 - 来自专栏数据库与编程
通过流式数据集成实现数据价值(2)
第1篇：通过流式数据集成实现数据价值（1） 本篇为通过流式数据集成实现数据价值的第2篇——流式数据集成。 流式数据集成的集成组件要求任何此类系统都必须能够从这些企业源中的任何一个连续收集实时数据，而与数据源的类型或数据的格式无关。 流式数据集成解决方案需要向外扩展。在跨集群分发处理和内存存储数据时，它们需要利用单台机器上的处理器线程和内存。 流式数据集成既可以为批处理分析和机器学习提供只支持附加的数据存储，也可以为即时洞察提供实时的内存分析。 任何支持流式数据集成的平台都必须提供所有这些功能，以处理多个关键任务和复杂的案例。如果缺少这些属性中的任何一个，就不能说平台是真正的流式数据集成。
1.4K30编辑于 2022-04-23 - 来自专栏大数据技术与应用实战
Flink教程-将流式数据写入redis
背景 实例讲解 引入pom 构造数据源 构造redis配置 实现RedisMapper 动态hash key 背景 redis作为一个高吞吐的存储系统，在生产中有着广泛的应用，今天我们主要讲一下如何将流式数据写入 getKeyFromData：主要是从我们的输入数据中抽取key getValueFromData：从我们的输入数据中抽取value public interface RedisMapper<T> extends 在hash结构里，这个additionalKey对应hash的key，getKeyFromData方法得到的数据对应hash的field，getValueFromData获取的数据对应hash的value 最后我们数据写入对应的redis sink即可，写入的redis数据如下： ? 比如我有一个类似的需求，流式数据是一些学生成绩信息，我的key想要的是学生的name，field是相应的科目，而value是这个科目对应的成绩。
5.5K30发布于 2020-09-15 - 来自专栏祝威廉
流式数据Pipeline质量控制浅谈
一般而言，实现某个特定业务的数据Pipeline都会比较长，这个时候对其中某个组件进行变更就是很有压力的事情。我们如何保证数据的准确性和完整性呢？ 这个可以保证数据的准确性，而且这种准生产环境的服务器资源也是值得投入的。 探针 探针可以检测全流程数据是否会丢失，而且能检验延时情况。 探针可以是数据源提供的，也可以是自己仿造的。 这个可以一定程度上保证数据的完整性。 离线数据存储 离线数据需要得到保留,可以是最原始的数据，也可以是某个中间结果的数据，还可以是某个数据的偏移量(譬如Kafka的偏移量)，这样可以保证上线变更导致计算异常(逻辑上的或者物理上的)能够得到补救 总结 质量控制其实是一个比较复杂的问题，上面的做的事情通过并行运算确保最终结果无异常，离线数据存储保证数据计算结果的可恢复，探针可以检测延时或者数据的完整性，埋点可以让我们对各个组件的状态有更多的追踪。
67940发布于 2018-08-27 - 来自专栏Lansonli技术博客
大数据Apache Druid（六）：Druid流式数据加载
Druid流式数据加载一、Druid与Kafka整合1、使用webui加载Kafka数据Druid也可以与Kafka整合，直接读取Kafka中某个topic的数据在Druid ，这里为了方便后面Druid解析数据[root@node1 bin]# . “Query”编写SQL ，查询DataSource “druid-topic”数据如下：向Kafka topic druid-topic中继续写入如下数据：{"data_dt":"2021-07-01T08 Druid数据，首先在Ingestion中停止实时接收数据的任务：然后再DataSource中使所有Segment无效后，再彻底删除对应的数据：4、使用post方式加载Kafka 数据由于前面已经使用Druid加载过当前Kafka“druid-topic”topic的数据，当停止Druid supervisors 中实时读取Kafka topic 任务后，在MySQL 库表“druid.druid_datasource
70351编辑于 2022-08-22 - 来自专栏ShowMeAI研究中心
图解大数据 | 流式数据处理-Spark Streaming
（1）流数据特点 数据一直在变化 数据无法回退 数据始终源源不断涌进 （2）DStream概念 和 Spark 基于 RDD 的概念很相似，Spark Streaming 使用离散化流(discretized 真正的数据是以block形式传入worker，由worker上的executor通过元数据信息Block ID去HDFS上拉取对应的block数据进行执行。 Network Input Tracker传入的并不是真正的数据，而是Block IDs，相当于获取的是元数据，数据是通过worker进行接受的，也就是说Master上不管真正数据的接受情况，Master 例如，reduceByKey()会归约每个时间区间中的数据，但不会归约不同区间之间的数据。 无状态转化操作也能在多个 DStream 间整合数据，不过也是在各个时间区间内。 每个时间间隔会积累一定的数据，这些数据可以看成由 event 组成（假设以 kafka 或者Flume为例），时间间隔是固定的，在时间间隔内的数据就是固定的。
2K21编辑于 2022-03-08 - 来自专栏CSDN博客
PPASR流式与非流式语音识别
除了aishell数据集按照数据集本身划分的训练数据和测试数据，其他的都是按照项目设置的固定比例划分训练数据和测试数据。 下载这三个数据只需要执行一下代码即可，当然如果想快速训练，也可以只下载其中一个。注意： noise.py可下载可不下载，这是用于训练时数据增强的，如果不想使用噪声数据增强，可以不用下载。 ，可以使用自己的数据集进行训练，当然也可以跟上面下载的数据集一起训练。 数据划分说明，如果dataset/annotation存在test.txt，那全部测试数据都使用这个数据，否则使用全部数据的1/500的数据，直到指定的最大测试数据量。 关于数据增强，请查看数据增强部分。
1.6K10编辑于 2021-12-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号