关于没有像hadoop、hbase等sql数据库的帮助

Question

我对诸如Hadoop、Cassandra等分布式NoSQL数据库很陌生。我有几个问题需要寻求专家的建议：

1. 您能否列出从目前的常规数据库(如MySQL )向这些大型基于集群的数据库转变时通常会面临的问题/挑战？
2. 当一个人需要适应这些开源项目的更新版本时，有什么困难呢？
3. 您能列出那些通常存储/保存在memcached中以快速呈现页面的内容吗？
4. 我如何理解开源项目的源代码，这样我就可以在它的基础上构建，并可能回馈给社区？

以上问题听起来可能是愚蠢和基本的，但请专家们详细回答以上问题，并尽他们最大的能力。

Answer 1

我可以给出一些想法：

1:使用Hadoop和相关项目，文档和示例一直是我的项目的主要挑战。与MySQL相比，通常很难找到哪些特性可用，以及如何使用它们。邮寄名单在这方面起了很大的帮助。学习从批处理和“全表扫描”的角度来思考也是一种调整，而习惯Map reduce编程也不是一件容易的事情，尽管有许多工具可以帮助您避免编写原始地图减少。

2: Hadoop & friends的大部分代码库仍然基本上是字母表，有时版本之间的变化很大。您肯定希望一个测试集群先进行升级，看看会发生什么变化。在升级过程中，API的急剧变化并不是意料之外的。

3:我没有专门使用memcached，我使用Hadoop进行后端ETL处理，而不是呈现页面。在这帮不了你。

4:理解项目的最好方法是获取代码并开始查看它。练习使用它一段时间，最终你会发现一些你认为可以做得更好的东西，或者你想要的特性。这地方和其他地方一样好。一定要注册开发人员邮件列表，并注意现有的bug列表和功能请求，看看是否有人已经在做类似的事情。这些项目中的大多数，您需要找一个拥有提交权限的人将您的代码放入其中，但这并不难。阅读您感兴趣的特定项目，以获得更具体的信息。

Answer 2

我的经验是：

1. 当来自关系背景时，主要的挑战将是用No-SQL的术语来思考。例如，HBase (构建在Hadoop之上)只会给您一个升序，如果您想进行降序查找，您将需要维护一个反向索引；即ID 1点到图书A，在反向索引(max - 1)中指向1。文档是一个问题，但是-社区，就像在所有OSS中一样，是非常重要的。沿着Git和泽西岛，我会说HBase社区非常有帮助，因此它弥补了缺乏文档的不足，而且HBase文档一直在改进。另一个挑战是搜索。我们经常使用SQL进行搜索，例如，HBase根本不适合进行搜索。建议在使用HBase进行可靠存储的同时，使用其他软件进行搜索，例如弹性搜索、Apache、Apache等。
2. 这实际上取决于从一个项目到另一个项目，如果HBase有很大的改进，从0.20.X到0.90.X (它的发行版非常出色)。AFAIK的数据存储格式没有变化，API也没有急剧变化，但是就像任何主要的OSS一样，随着主要版本的改变，API也发生了变化，但是小的变化就没有API了。虽然在升级方面不是很有经验，但从我在这方面的小冒险中，我注意到检索数据没有问题。
3. 这是一个棘手的问题，在很大程度上取决于这里讨论的应用程序类型。正如您提到的，memcached，我想分享我们目前正在经历的经验。除了直接前向主键查找之外，我们不使用HBase进行任何搜索。所有其他搜索都要经过Apache (基于Lucene)。因此，搜索结果被Solr缓存。在应用层，正如我们使用Java一样，我们使用Ehcache来存储原始对象。在web缓存中，我们使用清漆缓存，使用ESI将页面分割成每个用户的内容，例如登录、注销、帐户、购物车等，以及一般内容，如新闻、事件、产品等，从而实现了较高的吞吐量。
4. 我同意马克·托齐的观点。