回答情况：
提问时间：
问题标签：
1回答
让我们假设我有一个大文件(500GB+)，并且我有一个数据记录声明Sample，它表示该文件中的一行：field1 :: Int,那么，什么数据结构适合于在这些Sample数据的集合上处理(filter/map/折叠)？
浏览 1修改于2017-05-23得票数 2
回答已采纳
2回答
我要做的是计算每一项出现的次数，并将这些数据保存到一个新文件中，例如：word1/word2/word3 : 3import h5py
entry_co
浏览 0修改于2018-07-02得票数 3
1回答
我有很多数据，像300x68k这样的点存储为双精度，它代表磁场，我需要在我的Android应用程序中使用这些点。但是它大约是80MB，我认为这是一个巨大的数据，把它写到表中并不是很有效率。所以我有一个问题:我应该如何存储它才能以真正快速的方式访问这些数据？快，我是说女士。
浏览 1提问于2015-11-12得票数 1
1回答
作为我工作的一部分，我应该查询源数据库，调用一些过程，获取引用游标中的数据，并填充目标数据库。
由于数据量可能很大，因此我在目标数据库上使用多线程来调用该过程。这种布置工作得很好，除非源db处的数据量很大(例如超过200万个条目)。我已经设置了大约20 GB的堆空间来处理记录，但是我的程序由于堆内存错误而失败。我想知道是否有一种方法可以以并行模式从源数据库中查询数据(例如，假设从源存储过程中总共获取了200万条记录，那么我的程序应该首先获取这条记录的一
浏览 2修改于2013-03-12得票数 0
回答已采纳
2回答
我有一个3D浮点矩阵，在最坏的情况下，大小可能是(200000x1000000x100)，我想使用Qt/OpenGL可视化这个矩阵。我想知道是否有处理这种可视化的技术。
浏览 0修改于2013-02-28得票数 3
回答已采纳
3回答
我有WCF服务，它从xml读取数据。xml中的数据每1分钟进行一次更改。这个xml非常大，它有大约16k条记录。解析这需要大约7秒。所以这绝对是太久了。现在，它以这样的方式工作：
当然，缓存时间为1分钟，但在缓存之后，WCF必须再次加载数据。是否有可能在不停止站点的情况下刷新数据？就像..。我不知道，双重缓冲？如果没有新的数据，它会检索旧数据</
浏览 7修改于2011-06-21得票数 2
1回答
假设我有一个很大的数据集(8500000X50)。我想散布图X(日期)和Y(在某一天进行的测量)。data_X.astype(int)plt.show()
根据我在Stackoverflow上发现的一些“相同”的问题，我可以将我的数据打乱
浏览 0提问于2017-07-14得票数 6
回答已采纳
2回答
我有非常庞大的数据。这是我想要在浏览器(Web应用程序)中显示，但加载浏览器崩溃。
基本上，它是一个有行和列标题的网格，网格的其余部分有复选框，用户将根据行和列标题值单击。当我加载这些数据时，它将上升到2 5gb，而总数据将是5 5gb。任何人都可以帮助我如何在浏览器或任何类型的应用程序(windows或web应用程序)或任何类型的技术中显示如此多的数据。
浏览 1提问于2015-08-26得票数 0
2回答
我想在不应用任何统计数据的情况下绘制如此庞大的数据，这样就可以清楚地(简单地使用颜色或其他工具)对ex的数字(大小)进行区分。在示例1的Gene1和Gene2之间，等等。
浏览 3修改于2013-08-28得票数 1
回答已采纳
我使用mongoose和react从mlab数据库中获取数据。问题是mlab数据库的大小是200MB，它是一个超过40万个对象的集合。我还需要做一些数据格式化，我不知道后端和前端哪个更好。
我需要你的帮助来找到一个解决方案。非常感谢
浏览 1提问于2018-03-28得票数 2
5回答
假设我们每天都有大约1e10行的日志文件，每一行都包含: ID号(小于15位数的整数)、登录时间和注销时间。一些ID可以登录和注销几次。如何计算已登录的ID总数？(每个ID不应计数两次或更多)计算在线用户人数最多的时间。
浏览 4修改于2013-04-16得票数 2
回答已采纳
我正试图用qcustomplot类在我的Qt程序上绘制一些串行数据。当我试图绘制100个数据/秒这样的低采样频率数据时，我没有遇到任何麻烦。这张图真的很酷，而且绘制的数据很流畅。直接说，绘图仪无法达到数据流的速度。那么，有什么共同的问题，我不知道或任何建议？1-将整个程序划分为2或3线程。但是应该有一个解决方案，因为NI LABVIEW毫不拖延地绘制了高达2k的数据。
浏览 15提问于2017-03-11得票数 2
回答已采纳
4回答
我们目前正在使用ZedGraph来绘制一些数据的折线图。输入数据来自任意大小的文件，因此，我们事先不知道数据点的最大数量。但是，通过打开文件并读取头文件，我们可以找出文件中有多少个数据点。例如，我们的测试数据集文件大约2.6 GB，它有324M个点。我们希望向用户显示整个图表，并让她在图表中导航。使用ZedGraph的FilteredPointList特性似乎也是不成问题的，因为这需要首先加载整个数据，然后对该数据执行过滤。因此，除非我们遗漏了什么，否则似乎我们唯一的解
浏览 2修改于2011-05-08得票数 16
回答已采纳
这是一个销售应用程序，用于存储客户产品和销售数据。我们的客户(我们称之为集团)一般每个都有10家商店(我们称之为公司)。 }, "name": "def", },
}
浏览 0修改于2017-09-23得票数 1
4回答
我有一个程序，它在开始时生成大量数据(几GB，可能超过10 GB)，然后几次处理所有数据，做一些事情，处理所有数据，做一些事情……那么多的数据放不进我的RAM，当它开始分页时，真的很痛苦。存储数据的最佳方式是什么?通常情况下，如何解决此问题？
即使我在程序结束后不需要保存数据，我也应该使用DB吗？我是否应该以某种方式拆分我的数据，然后将其保存到文件中，并在需要时加载它们？我必须将数据分块处理。所以我加载数据块(比方说500mb)，计算
浏览 5提问于2015-11-22得票数 0
我们正在使用MySQL 5.5 InnoDB引擎来管理我们的数据库，其中一个表具有相同的SELECT/INSERT操作，其中之一将是每天有1亿到1.5亿个插入操作。
浏览 0修改于2015-06-06得票数 1
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号