- 综合排序
- 最热优先
- 最新优先
- 来自专栏爱笑的架构师
【Java8新特性】03 Stream流式数据处理
Java8 由Oracle在2014年发布，是继Java5之后最具革命性的版本了。 热门精选文章： 【Java8新特性】01 函数式接口和Lambda表达式你真的会了吗 【Java8新特性】02 函数式接口和Lambda表达式实战练习：环绕执行模式使行为参数化 【Java8新特性】03 Stream流式数据处理 【Java8新特性】04 详解Lambda表达式中Predicate Function Consumer Supplier函数式接口 【Java8新特性】05 使用 Stream是Java8新增的一个接口，允许以声明性方式处理数据集合。Stream不是一个集合类型不保存数据，可以把它看作是遍历数据集合的高级迭代器（Iterator）。 保护数据源 对Stream中任何元素的修改都不会导致数据源被修改，比如过滤删除流中的一个元素，再次遍历该数据源依然可以获取该元素。
1.6K20发布于 2020-09-24 - 来自专栏海向
java8 stream api流式编程
java8自带常用的函数式接口 Predicate boolean test(T t) 传入一个参数返回boolean值 Consumer void accept(T t) 传入一个参数，无返回值 Function <T,R> R apply(T t) 传入一个参数，返回另一个类型 准备数据 //计算机俱乐部 private static List<Student> computerClub = () .collect(Collectors.toMap(Student::getIdNum, Student::getName)); //分组 类似于数据库中的
72610发布于 2021-01-20 - 来自专栏海向
java8 stream api流式编程
java8自带常用的函数式接口 Predicate<T> boolean test(T t) 传入一个参数返回boolean值 Consumer<T> void accept(T t) 传入一个参数， 无返回值 Function<T,R> R apply(T t) 传入一个参数，返回另一个类型 准备数据 //计算机俱乐部 private static List<Student> computerClub () .collect(Collectors.toMap(Student::getIdNum, Student::getName)); //分组 类似于数据库中的
92441发布于 2021-01-18 - 来自专栏chester技术分享
.NET8 Blazor新特性 流式渲染
什么是SSR Blazor中的流式渲染结合了SSR（服务端渲染），服务端将HTML拼好返回给前端，有点像我们熟知的Razor Pages 或 MVC 。 什么是流式渲染 用户常遇到长耗时的处理，比如查询数据库，通常的处理方式是等长耗时处理结束，再响应给浏览器，用户体验比较差。 而流式渲染将响应拆为多次。 体验Blazor流式渲染 Blazor中的流式渲染只需要在组件上添加指令@attribute [StreamRendering(true)]即可生成一个流式渲染组件。 我们可以根据VS中的Blazor Web APP模板创建一个Server渲染方式的项目 创建完后，其中的Weather组件，默认开启了流式渲染 @attribute [StreamRendering] 5s后剩余的数据在同一个连接中返回 谁对多次响应进行了处理 其实是blazor.web.js拦截了多次响应，并将其渲染到对应位置。
81420编辑于 2023-11-20 - 来自专栏全栈程序员必看
Java8 新特性 —— Stream 流式编程
本文部分摘自 On Java 8 流概述 集合优化了对象的存储，大多数情况下，我们将对象存储在集合是为了处理他们。 总而言之，流就是一种高效且易于使用的处理数据的方式。 根据传递给它的函数对流中每个对象执行操作 } } 通过上面的示例，我们可以发现流有如下特点： 流本身不存储元素，并且不会改变源对象，相反，它会返回一个持有结果的新流 流可以在不使用赋值或可变数据的情况下对有状态的系统建模 正则表达式 Java8 在 java.util.regex.Pattern 中新增了一个方法 splitAsStream()，这个方法可以根据传入的公式将字符序列转化为流 Pattern.compile 数组 当我们需要得到数组类型的数据以便于后续操作时，可以使用下述方法产生数组： toArray() 将流转换成适当类型的数组 toArray(generetor) 生成自定义类型的数组
1.1K30发布于 2021-04-07 - 来自专栏阿杜的世界
【译】使用Apache Kafka构建流式数据平台（1）何为流式数据平台？
这份指南的第一部分是关于流式数据平台（steam data platform）的概览：什么是流式数据平台，为什么要构建流式数据平台；第二部分将深入细节，给出一些操作规范和最佳实践。 何为流式数据平台？ 2010年左右，我们开始构建一个系统：专注于实时获取流式数据（stream data），并规定各个系统之间的数据交互机制也以流式数据为承载，同时还允许对这些流式数据进行实时处理。 流式处理：对流式数据进行持续、实时的处理和转化，并将结果在整个系统内开放。 在角色1中，流式数据平台就像数据流的中央集线器。 流式数据平台的角色2包含数据聚合用例，系统搜集各类数据形成数据流，然后存入Hadoop集群归档，这个过程就是一个持续的流式数据处理。流式处理的输出还是数据流，同样可以加载到其他数据系统中。
1.5K20发布于 2018-08-06 - 来自专栏奇点大数据
Flume：流式数据收集利器
在数据生命周期里的第一环就是数据收集。收集通常有两种办法，一种是周期性批处理拷贝，一种是流式收集。今天我们就说说流式收集利器Flume怎么使用。 使用flume收集数据保存到多节点 by 尹会生 1 使用flume 收集数据到hdfs 由于工作的需要，领导要求收集公司所有在线服务器节点的文本数据，进行存储分析，从网上做了些比较，发现flume 我这里的传感器数据被统一收集到了nginx中，因此只要实现将nginx数据输出到hdfs就可以完成汇总了，为了便于分析，nginx的数据打印到了一个固定文件名的文件中，每天分割一次。 那么flume一直监视这个文件就可以持续收集数据到hdfs了。通过官方文档发现flume的tail方式很好用，这里就使用了exec类型的source收集数据。 2 收集数据到多个数据源 完成了领导的任务，继续研究下flume的其他强大功能，测试了一下上面提到的数据同时推送到其他节点的功能，使用的方法就是指定多个channel和sink，这里以收集到其他节点存储为文件格式为例
1.5K60发布于 2018-04-11 - 来自专栏Java学习网
Java开发之Java8 新特性--流式数据处理学习
流式处理简介 在我接触到java8流式处理的时候，我的第一感觉是流式处理让集合操作变得简洁了许多，通常我们需要多行代码才能完成的操作，借助于流式处理可以在一行中实现。 2.2 映射 在SQL中，借助SELECT关键字后面添加需要的字段名称，可以仅输出我们需要的字段数据，而流式处理的映射操作也是实现这一目的，在java8的流式处理中，主要包含两类映射操作：map和flatMap ，我们可以通过GROUP BY关键字对查询到的数据进行分组，java8的流式处理也为我们提供了这样的功能Collectors.groupingBy来操作集合。 并行流式数据处理 流式处理中的很多都适合采用 分而治之 的思想，从而在处理集合较大时，极大的提高代码的性能，java8的设计者也看到了这一点，所以提供了 并行流式处理。 此两项无法保证，那么并行毫无意义，毕竟结果比速度更加重要，以后有时间再来详细分析一下并行流式数据处理的具体实现和最佳实践。
2K20发布于 2018-12-06 - 来自专栏小小码农一个。
Java8中的新特性—流式编程
首先，在学习流式编程前，首先应当知道同样为Java8中新特性的lambda表达式，相信编程基础还不错的同学在python或其他语言中也了解过，这里我只贴出一篇学习博客： https://www.cnblogs.com 之后呢，必要的collection知识必须有，附加的还可以了解一下Optional 类、split字符串分割等细节的东西（当然对了解流式编程没有影响），在这些都清楚的情况下，我们可以来进行Java流式编程的学习 .map(Student::getName) .collect(Collectors.toList()); //java8还提供 .noneMatch(student -> "计算机科学".equals(student.getMajor())); //findFirst(找到符合条件的第一个元素)，了解java8新特性 nameJoin=students.stream().map(Student::getName).collect(Collectors.joining(",")); /**分组，类似数据库操作里面的
1.4K10发布于 2020-06-08 - 来自专栏程序随笔
聊聊流式数据湖Paimon(四)
Partial Update 数据打宽 通过不同的流写不同的字段，打宽了数据的维度，填充了数据内容；如下所示： --FlinkSQL参数设置 set `table.dynamic-table-options.enabled 数据一致性 数据版本 通过Flink的checkpoint机制，生成Snapshot并标记版本，即，一个Snapshot对应数据的一个版本。 生成的snapshot-xx，就是数据的版本号。 数据对齐 将 Checkpoint 插入到两个 Snapshot 的数据之间。 数据血缘 概念 数据从产生到消费的整个流转过程中所经历的各种转换、处理和流动的轨迹。 数据血缘提供了数据的来源、去向以及中间处理过程的透明度，帮助用户理解数据如何在系统中被处理和移动，以及数据是如何从原始状态转化为最终的可消费形态。
1.3K10编辑于 2023-12-29 - 来自专栏程序随笔
聊聊流式数据湖Paimon(三)
此类表适合 不需要更新的用例（例如日志数据同步）。 Append 场景特指"无主键"的场景，比如日志数据的记录，不具有直接Upsert更新的能力。 我们已经没有了桶的概念，也不保证流式读取的顺序。 我们将此表视为批量离线表（尽管我们仍然可以流式读写）。 这对于那些在 k8s 上使用 flink 的人来说尤其重要。 对于仅追加表，您可以为仅追加表设置 write-buffer-for-append 选项。 同一个桶中的每条记录都是严格排序的，流式读取会严格按照写入的顺序将记录传输到下游。 使用此模式，不需要进行特殊配置，所有数据都会以队列的形式放入一个桶中。 TABLE MyTable ( product_id BIGINT, price DOUBLE, sales BIGINT ) WITH ( 'bucket' = '8'
3.8K10编辑于 2023-12-26 - 来自专栏程序随笔
聊聊流式数据湖Paimon(五)
8081，就可以查看Flink的webui 高版本的Flink中已经没有bat脚本，可参考 flink新版本无bat启动文件的解决办法 补充缺失的依赖 Flink的框架搭建好之后，参考 新一代数据湖存储技术
70210编辑于 2023-12-30 - 来自专栏桥路_大数据
实时数仓：流式数据建模
流式数据模型 架构设计 数据模型设计是贯穿数据处理过程的，在实时流式数据处理中也一样。实时建模与离线建模类似，数据模型整体上分为5层（ODS、DWD、DWS、ADS、DIM）。 ? 其中ODS数据属于操作数据层，是直接从业务系统采集来的原始数据。在这一层上，数据与离线系统是一致的。 ODS层实时进入的数据，会进行去重、清洗等任务，适度做一些维度退化工作，清洗后的数据会存放到DWD层中，DWD数据明细层的数据会回流到消息队列中，从而实时同步到下游实时任务中，同时会持久化到数据库中供离线系统使用 所以维度数据，会由离线系统定期从ODS中获取数据，计算后存放在DIM层中。那为什么维度数据的延迟为T-2？虽然最好情况是使用T-1的数据，即昨天的数据进行计算。 所以为了保证数据一致性，T-1的维度数据虽然已经完成了计算，但不会直接使用，而是继续沿用T-2的维度数据。 数据流向 ODS、DWD层的数据会存放在消息中间件中，如Kafka。
1.9K20发布于 2021-01-06 - 来自专栏分享/效率/工具/软件
mybatis 流式读取大量MySQL数据
本文链接：https://blog.csdn.net/qq_37933685/article/details/85100239 title: MyBatis 流式读取MySQL大量数据 date: 2.流式：多次获取，一次一行。 3.游标：多次获取，一次多行。 由于生成报表逻辑要从数据库读取大量数据并在内存中加工处理后再生成Excel返回给客户端。 文章目录 MyBatis 流式读取MySQL大量数据 背景： 开发环境： 实现步骤： 示例代码 心路历程 MyBatis 流式读取MySQL大量数据 背景： 最近公司提了个需求，说公司的旧系统的报表导出的时候 ，数据量超过一万就导不出来了。 list.add(resultContext.getResultObject()); } }); return list; } dao层：(重点) /** * 流式读取数据
7.9K30发布于 2019-09-18 - 来自专栏祝威廉
数据天生就是流式的
现在依然很多人使用Azkaban/Oozie等工具衔接各个系统，通过外力让数据进行流转。而随着流式计算慢慢成熟与稳定，数据必然如河水一般，天生就是流式的。 整个过程都是数据自我驱动进行流转，没有使用类似Azkaban/Oozie 等外部工具去让数据从一个系统流转到另外一个系统。 而我之前提出 Transformer架构 本质就是一个流式数据架构。 这个架构的核心概念是： 你开发的任何一个应用，本质上都是将两个或者多个节点连接起来，从而使得数据可以在不同节点之间流转 数据的流转必然由批量到流式 如果说在大数据领域，批量处理是第一次数据革命，那么流式处理则必然是第二次数据革命 从某种角度而言，批量是流式处理的一个特例，譬如隔天处理数据，本质就是时间窗口为一天的流式计算。当然我们也可以实现以数量为窗口的计算。 当你需要借助外力的时候，事情往往就变得并不美好了。 几句话 从另外一个角度而言，流式不过是一个具有无限数据的批处理过程。
43940发布于 2018-08-27 - 来自专栏程序随笔
聊聊流式数据湖Paimon(一)
翻译自 Apache Paimon官方文档 概览 概述 Apache Paimon (incubating) 是一项流式数据湖存储技术，可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力 简单来说，Paimon的上游是各个CDC，即changlog数据流；而其自身支持实时sink与search(下沉与查询)changlog数据流。一般会与Flink等流式计算引擎集成使用。 流式数据湖是一种先进的数据存储架构，专门为处理大规模实时数据流而设计。在流式数据湖中，数据以流的形式持续不断地进入系统，而不是批量存储后处理。 Paimon提供以下核心功能： 统一批处理和流式处理：Paimon支持批量写入和批量读取，以及流式写入更改和流式读取表change log。 对于读取，支持如下三种方式消费数据 历史快照（批处理模式） 最新的偏移量（流模式） 混合模式下读取增量快照 对于写入，它支持来自数据库变更日志（CDC）的流式同步或来自离线数据的批量插入/覆盖。
4K11编辑于 2023-12-26 - 来自专栏信息化漫谈
淘宝大数据之流式计算
到底什么是大数据？大数据与数据统计有什么区别？如果不理解大数据的承载底层技术，很难讲清楚。因此作为解决方案经理，技术与业务都是作为方案不可缺少的组成部分。今天我们来看一下大数据之流式计算。 一、流式计算的应用场景 我们上一章讲到了数据采集。数据采集之后，如何利用数据呢？将采集的数据快速计算后反馈给客户，这便于流式计算。 流式计算在物联网、互联网行业应用非常之广泛。 在电商“双11”节中，不断滚动的金额数据；在交通展示大通，不断增加的车辆数据，这些都是流式计算的应用场景。 ? 2、流式数据是指业务系统每产生一条数据，就会立刻被发送至流式任务中进行处理，而不需要定时调度任务来处理数据。中间可能会经过消息中间件（MQ），作用仅限于削峰等流控作用。 四、流式数据的特点 1、时间效高。数据采集、处理，整个时间秒级甚至毫秒级。 2、常驻任务、资源消耗大。区别于离线任务的手工、定期调度，流式任务属于常驻进程任务，会一直常驻内存运行，计算成本高。
2.6K40发布于 2019-09-24 - 来自专栏KisFlow-Golang流式计算框架
Golang框架实战-KisFlow流式计算框架(8)-KisFlow Action
common.KisDataMap // 流式计算各个层级的数据源inPut common.KisRowArr // 当前Function的计算输入数据 // ++++++++++++++++ common.KisDataMap // 流式计算各个层级的数据源inPut common.KisRowArr // 当前Function的计算输入数据action kis.Action //流式链式调用for fn != nil && flow.abort ! = nil {return err}//流式链式调用for fn ! 但是有的Flow的流式计算可能需要继续向下执行，哪怕没有数据，所以这里可以通过ForceEntryNext这个动作来触发。首先我们在Action中新增一个ForceEntryNext 属性。
34210编辑于 2024-07-18 - 来自专栏搜云库技术团队
Mybatis 流式读取大量MySQL数据
最近公司提了个需求 ，说公司的旧系统的报表导出的时候，数据量超过一万就导不出来了。经过分析，是旧系统做了限制。 在更新的时候，查看了导出时虚拟机GC情况，发现原先程序执行时，内存激增，经过Google决定采用流式读取对sql进行优化。 JDBC三种读取方式： 1、 一次全部（默认）：一次获取全部； 2、 流式：多次获取，一次一行； 3、 游标：多次获取，一次多行； mybatis默认采取第一种。 开发环境： jdk1.8 、intellij IDEA 2018 mybatis 3 、 springMVC 、Spring 4 实现步骤： 实现流式读取的方式不止一种，但是我只能说我解决的这种，对不起 list.add(resultContext.getResultObject()); } }); return list; } dao层：(重点) /** * 流式读取数据
4.3K20编辑于 2023-03-15 - 来自专栏程序随笔
聊聊流式数据湖Paimon(二)
当前的问题 Apache Paimon 最典型的场景是解决了 CDC (Change Data Capture) 数据的入湖；CDC 数据来自数据库。一般来说，分析需求是不会直接查询数据库的。 Immutable 的一个分区来计算 所以需要通过 CDC 的方式同步数据库的数据到数据仓库或数据湖里。 存储成本高：每天全量表一个分区存储所有数据，意味着 100 天就需要 100 倍的存储成本。 计算成本高：每天需要读取全量数据，与增量数据进行全量合并，在增量数据不多时浪费严重。 引入Paimon 和其它数据湖不同的是，Paimon 是从流世界里面诞生的数据湖，所以它在对接流写流读、对接 Flink 方面都要比其它数据湖做得更好。 流式入湖方式可以有如下多种方式： Flink SQL 入湖，SQL 处理，可以有函数等 Streaming SQL 的处理 Paimon 一键 Schema Evolution 入湖，好处是 Schema
2.3K20编辑于 2023-12-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号