对于快速持久缓存，有什么好的解决方案吗？

Question

我需要真正快速和持久的缓存为我的网络爬虫。它不需要像Java语言中的ConcurrentSkipListSet那样快，但肯定不能像我尝试过的那样使用基于散列索引的表的MySQL。在记录的1m+之后，它需要大约80%的处理器时间。

有没有人知道或听说过对这个案例有用的东西？

谢谢你的任何提示。

Answer 1

试试EhCache。它主要是一个内存缓存，具有溢出和持久化到磁盘后备存储的选项。已经存在多年，仍然在积极开发，并且非常成熟。

Answer 2

我正在研究cache2k，并研究最新的缓存回收策略，使其成为最快的java缓存，请参阅cache2k benchmarks。

持久性是现在添加的，并将在两周内提供预览和测试。我预计它将在五周内非常稳定。当然，cache2k实现没有EHCache那么成熟，但是，发布的所有内容都在我们自己的应用程序中使用，并在生产环境中证明了自己。

更新：“两周”非常乐观，因为整个锁定概念最终需要重写和仔细检查……您可以跟踪当前在github上出现的持久性支持