回答情况：
提问时间：
问题标签：
我创建了一个24个元素的流，并使用stream API中的map操作对每个元素执行一个操作。我利用了并行性： .map(element -> someTimeConsumingOperation据我所知，streams使用默认的ForkJoinPool executor来并行运行操作，这反过来又会考虑核心的数量，以确定池中有多少线程。
因为有6个核心，所以我假设最多创建6个线程。如果是这种情况，并且每个操作几乎需要2秒，那么整个
浏览 0修改于2020-08-03得票数 0
1回答
我使用并行流进行上述操作，并希望了解所有对象的聚合解压缩时间和反序列化时间。
我正在调用getVersionedRawDealNew()，它对每个事务进行解压缩和反序列化。转换时间比整个处理我所有对象的方法花费的时间长得多，这似乎是不正确的。如果下面的转换时间计算方法是正确的，你能让我这样做吗？
浏览 1修改于2019-03-01得票数 0
代码段1 (在主线程中处理)： DoubleStream ds = IntStream.range(0, 100000).asDoubleStreamal.get()); return (endTime - startTime);代码段2 (在并行线程中处理al.get());
浏览 0修改于2018-05-04得票数 2
回答已采纳
我有进入队列的更新命令，我需要按顺序处理它们，但只处理与同一实体有关的命令。本质上，只要没有两个流包含关于同一实体的事件，我就可以创建任意多个并行的更新事件流。一旦订阅者完成并且当前队列中没有关于所讨论的实体的其他事件，则可以处理该队列。
这个场景是经常使用的吗？有没有更好的方法来实现这一点？在我们当前的系统中，我们使用基于id的命名锁来防止并发更新。
浏览 3提问于2014-07-17得票数 9
我试图阻止这种情况的方法是首先在bigTxt行上迭代(不是并行的，而是并行地遍历每个txt文件)，使用java的anyMatch和我得到的“流已经被修改或关闭”类型的错误，我后来理解这是因为anyMatch因此，在一个txt文件的一行上只调用anyMatch一次之后，该流就不再适用于我以后的处理了。这方面的任何(并行)解决方案(甚至不严格包括Java 8中的内容)都是受欢迎的。谢谢。
浏览 3修改于2017-07-14得票数 1
回答已采纳
我收集了很多元素(可以是10万或更多)，处理每个元素的时间从1秒到1分不等。备注当元素进程花费1秒时，单个CPU核心被加载的时间少于100% (可能是5%或10%)。因此，我需要以下负载平衡：
使用myCollection.parallelStream().forEach()启动集合处理当CPU负载小于100%时监视其启动下一个元素处理，当CPU负载为100%时停止添加下一个元素，直到负载小于80% (例如)。其主要思想是创建和使用更多的线程，然后使用CPU内核进行
浏览 4修改于2015-02-14得票数 0
总的来说，我对工作流和PS非常陌生。您可以使用ForEach -Parallel构造同时处理集合中每个项的命令。集合中的项是并行处理的，而脚本块中的命令则按顺序运行。这使用如下所示的语法。<item> in $<collection>) <Activity1>}根据我的解释，my每个循环中的所有内容都构成活动1，应该并行执行此外，如果有任何超级用户在那里，我想进一步微调这个过程
浏览 0修改于2018-01-29得票数 1
我有一个用例，我想向外部系统发送一条消息，但是发送此消息的流接受并返回一种我不能在下游使用的类型。这是通过流的一个很好的用例。我正在使用实现。最初，我担心如果processingFlow使用mapAsyncUnordered，那么这个流就无法工作。因为处理流可能会重新排序消息，而zip可能会用不正确的对推出一个元组。这解释了为什么它总是有序的，但我希望我的处理流程具有更高的吞吐量。zip限制映射异步无序的并行性？我基本上把我的输入输入到多个通过流的堆栈
浏览 0提问于2019-03-18得票数 6
回答已采纳
在使用Java并行流时，当一些并行操作在静态初始化程序块中完成时，我遇到了死锁。.forEach(s->System.out.println(s)); public static final void main(String[] args) {}当并行处理流时System.out.println(s)); public static final void main(String[] args) {}但是，当使用forEachOrd
浏览 0修改于2018-11-01得票数 3
是否可以使用Java CompletableFutures在Kafka stream应用程序中执行并行工作？ 我想从1Kafka主题中读取，创建两个窗口计数，1分钟，另一个小时，但它们是并行的。我能够让它工作，但是看一下Kafka流文档，因为KafkaStreams为每个分区分配一个任务，并且它不能超过一个线程，我不确定这个代码是否会有预期的效果。
浏览 38修改于2020-07-25得票数 0
回答已采纳
1回答
在我的应用程序中，我正在为多个定制接收器(为不同的UDP数据套接字使用2个接收器，为HTTP数据使用1个接收器)使用Spark流。接收器的转换没有任何共同的资源。当输入数据的数量增加时，我发现这三个接收器不是并行工作，而是一个接一个地工作。例如，如果设置批处理间隔20秒，则每个接收方处理数据的时间约为5秒，但如果所有3个接收器一起启用，则它们的汇总处理时间=3*5秒(约合5秒)，而不是5秒。
所以我创建了这个测试，并看到了同样的情况。Environment: Core i5, 4 cores, 16 GB
浏览 1提问于2017-12-29得票数 4
Java8并行流如何处理消费子句中抛出的异常，例如在forEach处理中？Index: " + i);它是否立即停止已处理的元素？它是否等待已经启动的元素完成？它会等待所有的溪流完成吗？它是否在抛出异常后开始处理流元素？在并行流抛出异常后，是否继续处理元素？(发现了发生这种情况的一个案例)。
这里有一般
浏览 1修改于2017-11-25得票数 28
1回答
我真的很喜欢将操作应用到流IO源的管道/管道的概念。我对构建处理非常大的日志文件的工具很感兴趣。从Python/Ruby迁移到Haskell的一个吸引人的地方是更容易编写并行代码，但我找不到任何有关这方面的文档。我如何设置一个从文件中读取行并并行处理它们的管道流(即。对于8个核心，它应该读取8行代码，并将它们传递给8个不同的线程进行处理，然后重新收集(等等)，理想情况下尽可能少地“仪式”……
可选的是，是否需要按顺序重新连接这些行，如果这会影响过程的
浏览 5提问于2014-11-05得票数 6
我们正在使用Java8 streams中的操作链处理事件流。作为处理的一部分，我们希望跟踪事件计数及其状态，以便进行测试和监控。这里是我们的用例的简化示例，打印给定日期流的星期几。这在单线程处理中运行良好，但在并行流中会产生不确定的输出。
在现实世界中，我们有几个状态和操作链。总而言之，检测流和跟踪进度的最佳方法是什么？
浏览 2修改于2017-04-14得票数 1
1回答
我使用火花流作业来处理我的输入请求。目前，处理一个文件需要2分钟。rdd = rdd.map(sleep_func) 我试图创建多个sockettextstrea
浏览 0提问于2017-11-01得票数 1
回答已采纳
1回答
我正在尝试使用BALANCED ShardingStrategy来获取超过1个流，并使用python多处理库来并行读取流。 但是，当并行读取流时，将返回相同的行数和数据。因为，如果我理解正确的话，在开始读取和完成之前，没有数据被分配给任何流，所以两个并行的流试图读取相同的数据，并且部分数据永远不会被读取。使用LIQUID策略，我们可以从一个流中读取所有数据，该流不能被拆分。 根据文档，可以并
浏览 31提问于2019-09-25得票数 4
2回答
我正在使用用于Mysql到Bigquery数据管道的数据流。为此，我使用JDBC来实现Bigquery数据流模板。
在使用dataflow GUI创建作业时，我可以明确地设置最大工人数，即工人总数。数据流如何管理其员工？它如何执行并行处理？我应该如何决定我的工作所需要的工人的数量和类型？
浏览 5修改于2020-11-19得票数 1
我正在学习python中的并行处理，对于以下程序的执行流程我有一些非常明确的疑问。在这个程序中，我根据过程将我的列表分成两部分。我的目标是两次并行运行add函数，其中一个进程获取列表的一部分，而另一个进程则运行另一部分。该程序是否实际使用多个处理器进行并行处理？如果没有，我如何才能使其并行处理？如果是并行处理，则打印语句打印(‘1’)打印(‘2’)应该随机执行，对吗？( 2)我能否以编程方式检查程序运行在哪个
浏览 1提问于2017-12-21得票数 0
回答已采纳
Processed oneProcessed twoProcessed three
["TWO", "ONE", "THREE"] 处理需要6秒，因为它在每个P1调用中等待2秒，但我希望(从文档中) Elixir.map并行处理项目。
浏览 1提问于2021-01-21得票数 0
回答已采纳
如果我们在多核处理器上工作，我们需要这些核心的缓存是同步的，如果一个任务被划分并分配到不同的核心来处理。Java 8流库是如何实现这一点的？在Java 8流并行处理过程中，所有处理器内核的缓存是否是同步的？
浏览 0修改于2015-08-05得票数 1
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号