我想在我的应用程序中使用nosql。nosql的目的是存储用户日志数据,使用和分析这些数据,并为用户提供定制数据。在此,我们了解了地图约简的搜索算法和快速处理大量日志数据的方法。
我有几个问题:
我不完全理解nosql和map-reduce之间的关系。
谢谢。
发布于 2018-03-28 11:50:02
编辑
以下是一些学习mapReduce &大数据技术的好资源。 BTW这些教程是印地语。
发布于 2018-03-28 19:19:02
地图缩减是一种算法吗?
MapReduce并不完全是一种算法,而是一个可以与许多算法一起使用的工具,使其具有很好的“适合性”。Mapreduce充分利用了hadoop分布式数据存储和处理的特点。您可能已经注意到,并不是所有的算法都可以使用mapreduce“高效”地实现。因此,应根据数据量、处理限制等因素进行设计决策。
地图减少是否适合于快速处理大量数据?
mapreduce在它的处理过程中做了大量的磁盘I/O,因此不适合在执行时间是一个约束的情况下。您可能希望切换到spark以获得更快的处理速度。将tez引擎与mapreduce结合使用是另一种选择。但是,不要将mapreduce性能与hbase这样的nosql数据库进行比较。mapreduce和nosql都属于两个完全不同的技术栈。
为了更快的速度,除了映射-减少之外,我如何使用nosql?
这取决于您的用例。将hbase数据处理成mapreduce程序以产生分析结果是非常常见的。
我知道mongodb支持地图还原,对吗?
让我换个说法。mapreduce是mongodb可以作为数据源的工具。
https://stackoverflow.com/questions/49532856
复制相似问题