我需要将大量数据存储到数据库(MySQL)中。我想通过在将文本数据存储到数据库之前对其进行压缩来节省磁盘空间。
我知道压缩/解压缩数据会影响性能。但我会将解压缩后的数据缓存到CDN上。大多数情况下,这些数据在几个月甚至几年内都不会变得陈旧。
你能给我推荐一些好的压缩/解压技术吗?除了压缩/解压缩数据之外,我还对其他选择持开放态度。
发布于 2011-08-09 10:36:02
如果您想要一个纯MySQL解决方案,您可以始终尝试对您的表使用ARCHIVE存储类型。The documentation将其描述为一个仅插入的、没有更新类型的引擎,它专门针对您所描述的内容,将多年不会更改的内容隐藏起来。
要在传统引擎中做同样的事情,需要在数据流上使用zlib,但请记住,压缩在已经压缩的数据上执行得非常差,比如大多数流行的图像类型或视频。您可以将您的需求主要表达为文本,这通常可以很好地压缩。
Ruby提供了Zlib::Deflate,可以按需压缩和扩展数据。您可以通过在模块上实现encode和decode方法来编写类似于JSON one的包装器。
需要考虑的一件事是,只要您的客户端支持gzip编码,您就可以将压缩后的数据存储在您的CDN上。据我所知,没有哪个主流浏览器不这样做,因为资产压缩已经变得相当标准,尤其是在移动领域。
发布于 2011-08-09 10:31:23
如果数据确实如您所说的那样是静态的,那么将数据保存为压缩的xml文件。
您可以在需要时轻松地解压缩它们,并且在Rails中,使用SomeModel.to_xml生成XML文件非常简单,它的输出可以很容易地发送到一个文件中,因此维护它们也会很简单。你可以很容易地以另一种方式来做这件事,这样当涉及到读取数据时,你可以简单地将数据转换回一个模型(Rails3.x具有ActiveModel,这将是这种情况下的理想选择,因为数据没有数据库的支持,但是你仍然可以得到API和AR给你的所有资源,这意味着你的视图,控制器等正在使用一致的ActiveRecord和一致的行为。
你也有其他的选择,比如使用ActiveResource,但我不认为这是必要的。如果您不打算以您建议的方式缓存数据,则不推荐使用这种方法(这是一个很好的解决方案)
https://stackoverflow.com/questions/6990771
复制相似问题