回答情况：
提问时间：
问题标签：
Flink在Flink应用程序(https://ci.apache.org/projects/flink/flink-docs-stable/dev/types_serialization.html)创建源、运算符和接收器的行为会导致Flink扫描在给定流的拓扑中使用的对象的数据类型，因为很明显，Flink将尝试基于此信息优化作业。 这种扫描是可配置的吗？我可以关闭它，强制Flink
浏览 18提问于2019-06-04得票数 0
我有一个用例，其中apache flink进程必须集成来自多个源的近乎实时的数据流(事件)，但由于不同系统中缺乏统一的键，我需要使用现有数据库中的代理键(SK)查找。SK数据集非常大(50个Million+密钥)。缓存这样的数据集用于流中转换(映射)而不使用DB查找是否可能/可取？如果是，缓存的限制是什么？如果不是，Flink有哪些替代方案？
浏览 2修改于2019-12-11得票数 1
我正在为一个大容量流用例(每秒数以千万计的事件)开发一个DataStream-based Flink应用程序。这些数据是从卡夫卡主题中消耗的，并且已经根据特定的键进行了切分。我的意图是在Flink端创建特定于键的状态，以运行自定义分析。我无法解决的主要问题是，如何创建键控状态，而不对keyBy()强加的传入数据进行重新配置。我可以保证Flink作业的最大并行性将小于或等于源Kafka主题中的分区数，因此逻辑上没有必要进行洗牌。StackOverflow问题的答案表明，可能有可能以一种符合
浏览 4提问于2022-08-08得票数 2
回答已采纳
1回答
我是Flink流媒体的初学者。我正在处理大约每秒5000个传入的事件，需要查找过去3天的事件窗口。我的问题是: Flink在哪里存储它的窗口数据？我会受到RAM大小的限制吗？在每秒5000字节和每个事件2000字节的情况下，我正在考虑三天窗口的非常大的存储需求。
浏览 1提问于2018-03-13得票数 0
我正在做一个项目，在这个项目中我制作了一个flink数据流程序，并将代码的第一次运行转移到了另一个团队，以便他们可以查看它。他们都是大级别的用户，并问我是否有任何缺点或好处切换到使用gradle，而不是在未来的flink项目使用maven。有两个git集线器repos，我发现乍一看，它们看起来像是在flink项目上实现gradle，但仅此而已。( 1.)是否有“如果flink项目试图切换到gradle
浏览 1修改于2017-05-17得票数 2
回答已采纳
在我的Flink项目中，我找不到连接器的某些库(具体来说，我需要吃一次CSV，在批处理或流模式下读取几个块数据的TBs )。\MyFlinkJob.scala:46: error: not found: type FileSource <dependency><groupId>org.apache.flink</groupId>
<artifactId>flink</e
浏览 26提问于2022-11-14得票数 0
外部数据库由每个键的一组规则组成，这些规则应该应用于Flink作业中的每个流元素。因为为每个元素调用DB并检索规则的开销非常大，所以我希望在初始化时从数据库获取规则，并将其存储在本地缓存中。当在外部数据库中更新规则时，将向Flink作业发布一个状态更改事件，该事件应用于获取规则并刷新此缓存。
实现我所描述的目标的最佳方法是什么？
浏览 0提问于2021-01-22得票数 0
我在Flink作业中实现了一个进程函数，当注入大容量(10mil记录)时，该进程函数似乎已经锁定，并导致前后的操作员暂停并等待刷新、交换间隔。这看起来像是Flink源一直在等待，直到后来的操作员从忙碌中解脱出来。这是在Flink中处理的背压吗?有没有我们可以配置的让流在没有这样的间隔等待的情况下流动？
浏览 2提问于2018-05-29得票数 0
- INTERVAL '4' HOUR AND s.ship_time如果o.order_time和s.ship_time是正常的时间列，而不是事件时间属性，那么所有的状态都会保存在Flink这样，也许大尺寸的状态就会保持在Flink中。
如果o.order_time和s.ship_time是事件时间属性，那么flink将依靠水印进行状态清理吗？这样小规模的状态将保持在Flink中。
浏览 0提问于2021-08-06得票数 0
回答已采纳
如何将PyFlink性能与Flink + Scala进行比较？因此，Apache是纯流的，而不是Spark的微批，我倾向于选择Apache。但我唯一关心的是PyFlink的性能。它比Scala编写的Flink代码慢吗？在什么情况下更慢？
提前谢谢你！
浏览 3提问于2021-11-05得票数 1
回答已采纳
最近，我一直在比较火花和Flink的一个全新的项目。在这个项目中，流功能不是那么重要。对~(90) is数据进行批量分析是最重要的。稍后，我将在数据分析中应用ML和数据挖掘。在搜索时，我发现很多文章，演示和视频声称Flink是下一代的分析解决方案。没有多少文章能为火花辩护。另一方面，星火是(或曾经？)非常流行，并广泛部署在非常大的生产系统。我的问题是：对于我的用例来说，流并不重要，我是拥抱Flink还是从Spark2开始？
浏览 5修改于2019-02-05得票数 3
回答已采纳
5回答
我得到以下异常at org.apache.flink.runtime.resourcemanager.slotmanager.SlotManager.removeSlots(SlotManager.java:759)
at org.apache.flink.runtime.resourcemanager.slotmanager.SlotMan
浏览 0提问于2019-01-08得票数 5
我在独立JVM上的测试运行得相当好，尽管flink是一个非常大的依赖项。所以我的问题是:我能做多小的Flink。目前，我尝试使用maven依赖于flink流-java。不幸的是，这取决于或嵌入(只列出有问题的)：
apache http核心那么，有什么方法可以让flink的瘦版不依赖于这么多的
浏览 4提问于2015-12-18得票数 1
) .withBucketCheckInterval(100)当我使用大容量格式和:62)
at org.apache.flink.streaming.api.functions.sink.filesystem.Bucket.closePartFile(Bucket.javaat org.apache.flink.streaming.runtime.tasks.StreamTask.runMailboxL
浏览 12修改于2020-06-01得票数 0
例如，我有一大串字，想数每一个字。问题是这些词是不正确的。这意味着有些词的频率会很高，但大多数其他单词的频率很低。在风暴中，我们可以用以下方法来解决这个问题。从我的另一个中，我知道Flink只支持键控流上的窗口，否则窗口操作将不是并行的。
浏览 2修改于2017-05-23得票数 6
回答已采纳
我正在使用flink从Azure数据湖中读取数据。但flink无法找到Azure数据湖文件系统。我已经实现了spark来读取Azure Data Lake文件系统文件。因此，我尝试从flink中触发火花，从Azure数据湖中读取数据，并执行一些逻辑操作，然后将列表返回给flink。所以flink可以使用这些数据？
是否可以从flink触发spark作业？或者如何配置flin
浏览 2修改于2017-07-12得票数 0
我们有一个Flink设置与卡夫卡生产者目前使用至少一次的语义.我们正在考虑切换到卡夫卡生产者的精确一次语义学，因为这会给我们带来好处。然而，考虑到文档，这似乎会增加非常可能的数据丢失风险，而我们目前还没有这种风险。如果由于Flink无法恢复或Kafka经纪人倒闭，我们有一个长期的停机时间，卡夫卡交易可能到期，数据将丢失。如果Flink应用程序崩溃和完成重新启动之间的时间大于Kafka的事务超时时间，就会出现数据丢失(Kafka将自动中止超过超时时间的事务)。在我看来，最好的方法是有很短的
浏览 3提问于2020-12-29得票数 0
回答已采纳
我使用Flink弹性搜索接收器将记录批量插入到ES。备注：在将记录添加到大容量处理器之前，我无法执行操作，因为无法保证记录与ES同步？
浏览 1提问于2021-02-11得票数 2
回答已采纳
正在发生的事情：在连接flink中的两个数据集时遇到了以下错误：有人能解释一下这一异常的根本原因吗？
浏览 0修改于2019-12-11得票数 1
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号