用于网页解析的大数据集

Question

我有一个大约有600,000个值的大型数据集，需要进行比较、交换等，以获得一个web应用程序。必须加载整个数据，因为有些计算需要跳过值、乱序比较等。

但是，每个值只有1个字节

我曾考虑将其作为一个巨大的JSON数组加载，但这个页面让我觉得这可能不可靠：http://www.ziggytech.net/technology/web-development/how-big-is-too-big-for-json/

同时，强制服务器为每个请求加载所有内容是对服务器资源的浪费，因为客户端可以同样轻松地处理数字。

所以我想我的问题是：

1)这可以在jQuery/Javascript中可靠地实现吗?如果可以，如何实现？

2)如果jQuery/Javascript不是更好的选择，那么在PHP中实现这一点的最好方法是什么(通过include读取文件与大型数组？)

谢谢!

Answer 1

我知道Apache Cordova可以进行sql查询。

http://docs.phonegap.com/en/2.7.0/cordova_storage_storage.md.html#Storage

我知道它是PhoneGap，但它适用于桌面浏览器(至少是我用来开发手机应用程序的所有浏览器)

所以我的建议是：

在每个用户的本地Cordova数据库中镜像您的数据库，然后运行您想要的所有sql查询！

一些技巧:通过JSON -Break将数据从你的服务器-Transfer到few应用程序，数据请求分成几个部分。这样，您就可以轻松地提供进度条，而不是等待整个数据库下载一个包含一个条目的表，该表保留了数据库的当前版本，因此在发送所有数据之前，请检查该表。并在每次想要“强制”更新时更改它。这会使用户数据库保持最新，并降低带宽

如果你需要在正确的方向上推动，我以前就这样做过。