- 综合排序
- 最热优先
- 最新优先
- 来自专栏学习笔记ol
框架分析（11）-测试框架
框架分析（11）-测试框架 主要对目前市面上常见的框架进行分析和总结，希望有兴趣的小伙伴们可以看一下，会持续更新的。希望各位可以监督我，我们一起学习进步。 集成测试框架 Selenium可以与其他测试框架进行集成，如TestNG和JUnit等。这使得开发人员可以更好地组织和管理测试用例，实现更复杂的测试流程。 总结 Selenium框架具有多语言支持、多浏览器支持、元素定位、页面操作、等待机制、浏览器控制、测试报告、并行执行和集成测试框架等特性。 缺点 难以测试外部依赖 JUnit框架主要用于测试Java类的内部逻辑，对于依赖外部资源或环境的测试，需要使用模拟框架或其他工具进行处理。 不支持并发测试 JUnit框架默认是单线程执行测试用例，不支持并发测试。对于需要并发测试的场景，需要使用其他工具或框架。
87720编辑于 2023-10-11 - 来自专栏腾讯云流计算 Oceanus
Flink 实践教程：入门（11）：MongoDB Sink
流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台 目前仅 Flink 1.13 支持 Sink 端写入，其他版本暂不支持。undefinedMongoDB Sink 暂不支持 Upsert。
1.5K40编辑于 2022-05-20 - 来自专栏程序猿的大杂烩
大数据框架—Flink与Beam
Flink概述 Flink是Apache的一个顶级项目，Apache Flink 是一个开源的分布式流处理和批处理系统。Flink 的核心是在数据流上提供数据分发、通信、具备容错的分布式计算。 目前Flink支持如下框架： Apache Kafka (sink/source) Elasticsearch 1.x / 2.x / 5.x (sink) HDFS (sink) RabbitMQ ( ： 老的三驾马车：GFS、MapReduce、BigTable 新的三驾马车：Dremel、Pregel、Caffeine 我们都知道，Hadoop生态圈内的几个框架都源于Google老的三驾马车，而一些新的框架实现也是部分源于 所以现在市面上的大数据相关框架很多，框架多就会导致编程规范多、处理模式不一致，而我们希望有一个工具能够统一这些编程模型，因此，Beam就诞生了。 不需要为不同的引擎开发不同的代码，这就是Beam框架的最主要的设计目的之一。
2.9K20发布于 2020-09-23 - 来自专栏SAMshare
BigData | 优秀的流处理框架 Flink
Index Flink核心模型介绍 Flink的架构介绍 Flink与Spark的异同之处 ? Flink核心模型介绍 Apache Flink就是其中的翘楚，它采用了基于操作符（operator）的连续流模型，可以做到微秒的延迟。 Flink最核心的数据结构是Stream，它代表一个运行在多个分区上的并行流，它没有边界，随着时间的增长而不断变化，而且它是逐条进行操作的，每当有新数据进行就会被执行，这也是Flink低延迟的根本。 Flink的架构介绍 Flink的架构如下图所示： ? 图来自极客时间 同样的，这架构也是大致分成4层：存储层、部署层、核心处理引擎层、high-level的API和库。 Flink与Spark的异同之处 Flink的诞生总是有原因的，简单来说因为它统一了批处理和流处理，并且对于实时计算可以实现微秒级别的输出。
1.2K10发布于 2019-07-08 - 来自专栏腾讯云大数据
Flink 实践教程-进阶（11）：SQL 关联：Regular Join
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、 Flink SQL 提供了 Regular Joins、Interval Joins、Temporal Joins、Lookup Join、Array 展平和 Table Function 六种方式实现数据关联 运行作业 点击【发布草稿】后启动作业，可通过【日志】面板 TaskManager 或 Flink UI 查看运行信息。 4. 更多 SQL Join 详情请参考开源 Flink官方文章 SQL Join 章节[5]。 SQL Join：https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/dev/table/sql/queries/joins
92220编辑于 2022-04-02 - 来自专栏腾讯云大数据
Flink 实践教程：入门（11）：MongoDB Sink 的使用
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、 目前仅 Flink 1.13 支持 Sink 端写入，其他版本暂不支持。 MongoDB Sink 暂不支持 Upsert。 MongoDB 的 User 必须拥有 database 的写权限。
1.3K30编辑于 2022-05-20 - 来自专栏大数据进阶
flink系列(11)-checkpoint的存储设计和实现
CheckpointStreamFactory/CheckpointOutputStream 接口提供了一套基层的状态存储的基础实现
65020发布于 2019-09-17 - 来自专栏自然语言处理
智能体框架：11 个顶级 AI Agent 框架！
最近笔者在找智能体框架，看到一个文章：https://ai.plainenglish.io/11-best-ai-agent-frameworks-for-software-developers-afa1700644bc 本指南将深入探讨当前最优秀的 11 个 AI Agent 框架，比较它们的特性、优势、劣势以及理想的应用场景，帮助您为下一个项目做出明智的决定。 什么是 AI Agent 框架？ 11 个最佳 AI Agent 框架 1. LangChain LangChain 是一个开源框架，已成为构建 AI 驱动应用最受欢迎的选择之一。 测试 if __name__ == "__main__": asyncio.run(main()) 11. 无论您需要用于构建对话 Agent、多 Agent 协作系统，还是复杂工作流自动化的框架，本指南介绍的 11 个框架都提供了多种选择，以满足不同的需求和技术专业水平。
13.5K52编辑于 2025-07-02 - 来自专栏Flink实战应用指南
Flink Forward 2019--实战相关(11)--Pulasr与Flink整合的弹性数据处理
Elastic Data Processing with Apache Flink and Apache Pulsar -- Sijie Guo(Apache Pulsar) More and more applications are using Flink for low-latency data processing. Flink unifies batch and stream processing using one computation engine. 越来越多的应用程序使用Flink进行低延迟数据处理。Flink使用一个计算引擎来统一批处理和流处理。 Pulsar的以段为中心的存储设计和分层结构使其成为一个完美的无边界流数据系统，可以很好地融入Flink的计算模型。
69300发布于 2019-07-11 - 来自专栏小赵Java总结
关于Flink框架窗口（window）函数最全解析
Flink中窗口（Window）就是来处理无界限的数据流的，将无线的数据流切割成为有限流，然后将切割后的有限流数据分发到指定有限大小的桶中进行分析计算。 窗口类型 Flink中的窗口类型有两种：时间窗口（Time Window）、计数窗口（Count Window）。 间隔定义了非活跃周期的长度，当这个非活跃周期产生，那么当前的 session 将关闭并且后续的元素将被分配到新的 session 窗口中去 Window API使用 窗口分配器window() 在flink Flink 提供了通用的 WindowAssigner：滚动窗口（tumbling window）、滑动窗口（sliding window）、 会话窗口（session window）、全局窗口（global .countWindow(10,2) 窗口函数 Flink中定义了要对窗口中收集的数据做的计算操作，主要可以分为两类：增量聚合函数、全窗口函数。
2.2K20编辑于 2022-12-01 - 来自专栏腾讯云流计算 Oceanus
Flink 实践教程：进阶11-SQL 关联：Regular Join
流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台 Flink SQL 提供了 Regular Joins、Interval Joins、Temporal Joins、Lookup Join、Array 展平和 Table Function 六种方式实现数据关联 运行作业 点击【发布草稿】后启动作业，可通过【日志】面板 TaskManager 或 Flink UI 查看运行信息。 4. 更多 SQL Join 详情请参考开源 Flink官方文章 SQL Join 章节 [5]。 SQL Join：https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/dev/table/sql/queries/joins
1.4K74编辑于 2022-04-07 - 来自专栏大数据技术与应用实战
flink实战-模拟简易双11实时统计大屏
如何使用窗口的结果，可以参考flink的官网[1] 结果统计 接下来我们做最后的结果统计，在这里，我们会把各个分类的总价加起来，就是全站的总销量金额，然后我们同时使用优先级队列计算出分类销售的Top3， 1018.88),(分类：图书 销售额：1010.12) 完整的代码请参考 https://github.com/zhangjun0x01/bigdata-examples/blob/master/flink /src/main/java/windows/BigScreem.java 参考资料 【1】https://ci.apache.org/projects/flink/flink-docs-stable/
2.1K30发布于 2020-09-15 - 来自专栏Elasticsearch专栏
【极数系列】Flink集成KafkaSink & 实时输出数据（11）
消息不会因 Kafka broker 端发生的事件而丢失，但可能会在 Flink 重启时重复，因为 Flink 会重新处理旧数据。 --java_JDK版本--> <java.version>11</java.version> <! --flink版本--> <flink.version>1.18.0</flink.version> <! --集成日志框架 start--> <dependency> <groupId>org.apache.logging.log4j</groupId> --集成日志框架 end--> <!
78210编辑于 2024-03-04 - 来自专栏CSDN技术头条
大数据“重磅炸弹”：实时计算框架 Flink
然后将离线计算与实时计算进行了对比，批处理与流处理进行对比，离线计算的特点与实时计算的特点，加上我自己的调研结果，归纳了实时计算的四种使用场景，提出了使用实时计算时要面临的挑战，因为各种需求，也就造就了现在出现不断的实时计算框架 ，接着看了下市场上所有的实时框架，但是因为这类对比的文章网上比较多，因此我只介绍了 Flink 的特性和其 API。 通过这篇文章的学习，你可以知道实时计算有哪些场景，你的公司这些场景是不是也可以换成 Flink 来做？同时也知道了实时计算与离线计算的区别，并初步认识了一下这个好玩好用的实时计算框架——Flink。
1.9K20发布于 2019-05-14 - 来自专栏小赵Java总结
聊聊Flink框架中的状态管理机制
Flink中的状态 Flink中的状态有一个任务进行专门维护，并且用来计算某个结果的所有数据，都属于这个任务的状态。大多数的情况下我们可以将Flink中状态理解为一个本地变量，存储在内存中。 状态自始至终是与特定的算子相关联的，在flink中需要进行状态的注册。 （此图来源于网络） Flink框架中有两种类型的状态：算子状态、键控状态。接下来我们具体的聊聊这两种状态。 注意：算子状态不能由相同或不同算子的另一个子任务访问 （此图来源于网络） Flink 为算子状态提供三种基本数据结构： 列表状态 将状态表示为一组数据的列表。 Flink 为每个 key 维护一个状态实例，并将具有相同键的所有数据，都分区到同一个算子任务中，这个任务会维护和处理这个 key 对应的状态。 （此图来源于网络） Flink 为键控状态提供三种基本数据结构： 值状态 将状态表示为单个的值。
75440编辑于 2022-12-01 - 来自专栏小赵Java总结
主流实时流处理计算框架Flink初体验
2022 年 5 月 1 日 百思不得小赵 点此进入博客主页 —— 新时代的农民工 —— 换一种思维逻辑去看待这个世界 概述 Apache Flink是由Apache软件基金会开发的开源流处理框架 Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行。 百度百科 Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。Flink 被设计为在所有常见的集群环境中运行，以内存中的速度和任何规模执行计算。 Apache Flink 是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架。 特点 低延时实时流处理 代码编写简单 Flink 已经是最近几代通用大数据框架之一，相对一系列老前辈来说应用广泛、使用简单。 支持大型、复杂的状态处理 允许有数百 GB 以上的状态存储。
1.5K20编辑于 2022-12-01 - 来自专栏KisFlow-Golang流式计算框架
Golang框架实战-KisFlow流式计算框架(11)-Prometheus Metrics统计
那么KisFlow作为流式计算框架，那么有关每个Function的调度时间、总体的数据量、算法速度等等指标可能也是项目中或者开发者所要关注的一些数据，那么这些数据，经过KisFlow，可以通过Prometheus
41110编辑于 2024-07-22 - 来自专栏小赵Java总结
Flink框架中的时间语义和Watermark（数据标记）
接下来让我们来看看在Flink框架中，对时间不同的概念。 Flink框架中有三个时间的语义：事件时间（Event Time ）、摄入时间（Ingestion Time）、系统处理时间（Processing Time）。 它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事件时间戳。 Ingestion Time：数据进入 Flink 的时间。 在Flink流处理真实场景中，大部分的业务需求都会使用事件时间语义，但还是以具体的业务需求择选不同的时间语义。 ，相当于Flink接收到的数据的先后顺序不是按照时间的事件时间顺序排列进行的。
1.3K20编辑于 2022-12-01 - 来自专栏IT派
流计算框架 Flink 与 Storm 的性能对比
背景 Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。 为深入熟悉了解 Flink 框架，验证其稳定性和可靠性，评估其实时处理性能，识别该体系中的缺点，找到其性能瓶颈并进行优化，给用户提供最适合的实时计算引擎，我们以实践经验丰富的 Storm 框架作为对照， 进行了一系列实验测试 Flink 框架的性能，计算 Flink 作为确保“至少一次”和“恰好一次”语义的实时计算框架时对资源的消耗，为实时计算平台资源规划、框架选择、性能调优等决策及 Flink 平台的建设提出建议并提供数据支持 Flink 与 Storm 两个框架对比： ? Flink 在满吞吐时的延迟约为 Storm 的一半，且随着 QPS 逐渐增大，Flink 在延迟上的优势开始体现出来。 综上可得，Flink 框架本身性能优于 Storm。
1.2K00发布于 2018-07-30 - 来自专栏大数据开发
大数据开发：Hadoop、Spark、Flink三大框架对比
目前来说，大数据领域最为活跃的三个计算框架，当属Hadoop、Spark以及Flink这三者。三个框架在不同的大数据处理场景当中，表现各有优势，因此也常常被拿来做比较。 今天我们也来做个Hadoop对比，看看Hadoop、Spark、Flink三大框架，各自的优势劣势如何。 Flink：Flink是真正的流引擎，使用流来处理工作负载，包括流，SQL，微批处理和批处理。 Flink：Flink采用连续流式流传输模型，实时对数据进行处理，而不会在收集数据或处理数据时出现任何延迟。 作为主流的三大处理框架，这三者在大数据领域都有着自己的优势和劣势，因此最好的方案就是将各自的优势结合起来，实现更高效率地完成大数据处理任务。
3.8K30发布于 2021-06-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号