回答情况：
提问时间：
问题标签：
我有一个数据流作业，它从bigquery表(在大表之上创建)读取。数据流作业是使用java中的自定义模板创建的。我需要处理bigquery的大约5亿条记录。我面临的问题甚至是读取100万条记录，大查询读取需要26分钟，数据流工作需要36分钟。在大查询中读取太慢。
任何关于如何提高阅读性能的建议。
浏览 10修改于2022-12-03得票数 1
我正在处理2个大的输入文件，每个5 5gb。它是Hadoop的输出，但是由于我不能在map reduce中进行依赖项计算，所以我切换到一个优化的for循环进行最终计算(请参阅我之前关于Map reduce设计的问题
我想建议在java中读取这么大的文件，并做一些基本的操作，最后我将写出大约5 5gb的数据。
浏览 1修改于2017-05-23得票数 2
回答已采纳
11回答
对于每种数值数据类型，Java有没有什么东西可以表示无穷大呢？它是如何实现的，以便我可以用它进行数学运算？myInf + 5; //returns infinity我尝试过使用非常大的数字，但我想要一个合适的easy解决方案。
浏览 420修改于2021-05-09得票数 162
回答已采纳
当处理减速器时出现以下错误时，大容量负载发生故障。我们正在M5集群上运行mapreduce，试图更新一个m7表。at com.mapr.fs.Inode.checkError(Inode.java:1611) atcom.mapr.fs.Inode.bulkLoaderClose(Inode.java:1278)
at com.mapr.fs.MapRHTable.bulkLoaderClose(Map
浏览 8修改于2015-12-29得票数 0
回答已采纳
我正在创建一个S3传输到大查询使用Java和谷歌的大查询数据传输包。TransferConfigRequest
我不确定如何处理第5步，大查询数据传输包是否有一种方法可以在传输完成后返回状态。
浏览 0修改于2021-11-16得票数 2
对于大小相当大且每天执行5k-8k操作的数据库表，使用Oracle Change Notification是否会产生性能开销？在连续运行两天后，我发现很少有'java.lang.IndexOutOfBoundException‘。
浏览 19提问于2017-01-16得票数 0
我正在编写java程序，其中我需要比较大量的List<String> ids，以查看这些ids是否存在于数据库中？我知道这可以用大的select查询select id from my_table where id in ('1','2''3''4''5'...)来完成，这导致了非常大的sql查询。
浏览 0提问于2014-03-06得票数 0
我有一个很大的json，当它超过5kb时，它会抛出异常 org.apache.http.impl.io.AbstractSessionInputBuffer.fillBuffer(AbstractSessionInputBuffer.java:149) at
org.apac
浏览 0提问于2013-02-27得票数 0
我们注意到，当我们在Java 6上编译我们的类时，它们始终比Java 5大。
我知道到目前为止字节码还没有变化，所以我假设Java 6编译器会抛出更多的东西。这些都是必需的吗，或者有什么方法可以关闭它而仍然编译Java 6源代码吗？
浏览 0提问于2011-04-12得票数 10
回答已采纳
我们有非常大的xml文件(5-10MB)，其中包含大量的数据，我们需要在java中开发POC来解析它，并通过维护适当的关系将它们插入到数据库表中。
谁能告诉我这种设计的最佳实践是什么？
浏览 0提问于2015-08-24得票数 2
我有一个Mongo文档，其中包含一个大的原始ints列表。使用Java，我可以直接存储MongoDB，例如：int[] myInts = {3,4,5,56};DBObject doc = new BasicDBObject("arr", myInts);但是，当我检索数据时，我会得到一个包含Integer对象的BasicDBList(int[])获
浏览 3提问于2013-10-17得票数 1
回答已采纳
在Debian 3.2.68-1+deb7u5 x86_64 GNU/Linux上运行Cassandra 2.1.5 java version "1.7.0_72"Java(TM) SE Runtime Environment (build 1.7.0_72-b14)
Java HotSpot(TM) 64-Bit Server VM (build 24.72但是磁盘空间使用了80-90% (用于cassandra数据)
浏览 0修改于2015-11-19得票数 1
1回答
下面是一个非常大的CSV文件的示例：order1, fruit, 115.50, 1/1/2020, 20/1/2020order2, veg, 114.25, 7/1/2020, 7/2/2020order4, fruit,111.20, 1/1/
浏览 4修改于2020-08-03得票数 0
回答已采纳
Restful web服务(JSON) 3.高流量4.文件上传/下载5.大容量数据库的快速搜索结果如果我问错了问题，很抱歉。我正在研究这个
浏览 2修改于2012-05-29得票数 4
回答已采纳
我在生产中有一个相当大的Java应用程序(30k行代码)。它使用了我用Java编写的一个相当大的业务对象库，并且我在其上抛出了一个Swing接口。然而，它作为一个独立的桌面应用程序运行，目前根本没有服务器端(除了一个MySQL数据库和一些包含中央数据的文本文件)。随着数据量和计算需求的增加，这在只有5个线程和4 4GB的四核工作站上运行就成了一个问题。
我正在考虑走现代路线，使用PHP、HTML、CSS、Javascript等创建一个基于web的应用程
浏览 5提问于2014-08-11得票数 0
1回答
我最近遇到了F5 Bigip devices.The的guishell实用程序打开一个HSQL prompt.Would有人知道如何在F5 Bigip系统中找到所有可以查询的表的名称吗？
浏览 1提问于2013-04-29得票数 0
我正在用非常大的数据测试数据结构的性能。我想用非常大的数据集进行测试--如何才能在java虚拟机耗尽内存时将其中的一些数据写入磁盘？
浏览 0修改于2017-05-23得票数 3
我正在做一个个人项目/网站，从头开始做分类广告，使用AngularJS/HTML5作为前端，并使用Java REST Api与数据库通信。我的主要问题是，在不花我一大笔钱的情况下，有哪些好的选择可以托管这样的网站，因为它毕竟只是为了个人体验和乐趣。
我有一些java背景，因此我想专注于基于Java的REST服务。
浏览 1提问于2015-11-17得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号