回答情况：
提问时间：
问题标签：
上一个问题(初始级别优化)：Excel“大”数据处理与查找“
代码用途:根据新信息(由不同的宏提供)重新计算每列500 000行的25列。
浏览 0修改于2017-04-13得票数 4
回答已采纳
我正在尝试构建一个Spring/Spring RESTful web服务，
当前的遗留系统在存储过程中实现了相同的功能，这使得解决方案与DB紧密耦合，如果需要对RDBMS进行修改，这将是一个问题。
在异步web服
浏览 0修改于2016-05-30得票数 2
回答已采纳
我正致力于为银行创建一个大容量的JSON数据处理应用程序，使用Spring、Kafka和QuickFIX/J。
浏览 7提问于2020-06-01得票数 0
我试图通过Rest使用fabric将数据更新到Blockchain平台。我将每天通过API调用传递200参数。我每天的总负载将是20 GB。
浏览 1修改于2019-10-16得票数 0
我正在调用一个web服务，它可以返回非常大的数据量(>100 K记录= 200 MB)。我也必须将这些数据插入Server。我有以下问题。
浏览 0修改于2017-02-24得票数 2
我正在尝试使用Java构建一个ETL工具。ETL工具用于对大量数据(包括关系数据和其他类型的数据)进行批处理、写入、更新操作。我发现很难选择正确的框架/工具来完成这项任务。
使用一些框架，比如Spring或Hibernate。我从未使用过这些框架。我认为Hibernate是为了ORM目的，但我的需求
浏览 7提问于2014-12-09得票数 2
回答已采纳
在其中一次技术讨论中，我被问到了以下场景的解决方案，而不使用任何处理类似情况的标准java库。我可能会想到以下的解决方案不过，我想知道是否有更好的方法。此外，如果这些问题不适合这个论坛，请告诉我，我会删
浏览 3提问于2020-08-19得票数 2
我正在处理一个JSON文件形式的大型twitter数据集。当我试图将其导入Tableau时，会出现一个错误，上传失败的原因是数据上传限制为128 MB。我们能用AWS产品来处理同样的事情吗？请指点！
浏览 3修改于2017-09-22得票数 1
回答已采纳
1回答
我有一个巨大的csv文件，我必须处理这个文件并做一些数据处理。现在，我正在缓冲区中读取/加载文件，然后进行数据处理工作。在文件非常大的情况下，我发现这种方法效率低下。
浏览 0提问于2020-08-15得票数 -4
如果我在查询中重用相同的子查询，这是新的数据处理，而不管它是同一个子查询呢？这能以任何方式优化吗？bigquery不缓存它的数据吗？
是否有用于数据处理的最小大小？关于3)我在数据处理方面有这么大的问题(这就是我问所有问题的原因)。我的整个数据集大约有150 My大，而我的每个查询的DP大小却大3倍？
浏览 10提问于2013-04-22得票数 5
回答已采纳
大约300吨的数据正在使用Google平台数据集(选项: dev)传输到大查询中。感谢您的阅读。
浏览 1提问于2020-10-19得票数 2
回答已采纳
在这一页中，他们提到：
当您使用大容量收集和集合从游标中获取数据时，您不应该依赖游标属性来决定是否终止循环和数据处理。
浏览 1修改于2020-06-20得票数 1
回答已采纳
6回答
现在，我使用Python和R的组合来满足我所有的数据处理需求。但是，我的一些数据集非常大，并且会从多线程处理中受益良多。对于这种类型的数据处理，最好的语言/实现是什么？
浏览 0提问于2010-08-18得票数 6
回答已采纳
我正在做非常大的数据处理(16 am )，为了处理磁盘延迟，我想尝试通过将整个文件存储在RAM中来加速操作。
我查看了现有的库，但是找不到任何能给我提供接口灵活性的东西。
浏览 8提问于2022-07-19得票数 0
回答已采纳
我正在使用Qt进行PC端的数据处理。我经常根据计时器从设备上阅读。问题是计时器的分辨率仅为1ms。这难道不把我读取数据的速度限制在1ms吗？如果这个计时器速度这么慢，我该如何利用USB大带宽的能力呢？
浏览 3提问于2013-11-15得票数 0
回答已采纳
我正在重写一些R脚本，将空间数据处理并分析到一个包中，以便更容易地共享。最初，我只是将所有光栅数据/etc保存到我的工作目录中，每次我想使用“堆栈”或“光栅”进行分析时，都会将它从那里加载到脚本中。我有很多光栅/形状文件，其中有些相当大。
浏览 5提问于2020-04-20得票数 0
回答已采纳
我的问题是，我有一个非常重的Jquery客户端应用程序，并且只使用服务器端进行数据处理和数据处理。我想这只会成为非常大的javascript重站点的一个问题，所以就抛出其他人做了什么来处理这个问题吗？
谢谢,
浏览 5修改于2016-10-07得票数 1
回答已采纳
我想知道的是:我应该选择哪个工具进行地理空间大数据处理、分析和可视化？哪个工具(ESRI和BigQuery)更适合用于什么？我想在非常大的时间地理空间数据集上运行复杂的查询，最后在地图上可视化结果。任何帮助都是非常感谢的！
浏览 5提问于2019-10-28得票数 0
回答已采纳
我在Spyder公司和大型Pandas数据处理公司合作。偶尔，我会意外地单击变量资源管理器窗口中的大型数据文件，Spyder在尝试打开时会挂很长时间。设置默认设置，以便Spyder只显示前1000行非常大的对象，如dataframes？
浏览 2提问于2017-10-17得票数 5
我有一个从数据仓库中提取的非常大的数据集。要将数据集下载到我想要运行lme4的机器上，需要很长时间。我想知道是否可以将数据处理成协方差矩阵，下载该数据(小得多)，并将其用作lme4的数据输入。
浏览 9修改于2013-02-06得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号