关于向大数据迁移的疑问

Question

我对hadoop有一些疑问

1. 在cloudera发布的一段视频中，一位教师告诉我们，在hadoop有HDFS。每个文件将作为一组卡盘或块存储。每个块将在不同的机器中复制三次，以最小化故障点。每个映射器将处理单个hdfs块。

从这些逻辑中，我感觉到如果我有一个服务器，它有大约100个peta字节的日志，与hdfs不同，这些日志不是存储在传统文件系统中的。

主要疑问1.现在，如果我想使用mapreduce技术有效地分析这个巨大的数据，那么我必须在一个运行hdfs的新服务器中传输数据，并且拥有三倍于旧服务器的存储空间。

1. 在另一段视频中，cloudera..the指导员也清楚地提到，我们不需要将传统的系统迁移到一个新的系统中，我们可以在此基础上使用hadoop和map还原。这与第一点中提到的说法没有什么矛盾。

主要疑问2:让我们假设第2点陈述是正确的。现在这怎么可能。我的意思是，如何在传统的文件系统中应用hadoop和映射减少，在每个机器上都没有块或名称节点..deamon的复制。

我的主要任务是促进对大量日志的快速分析，这些日志目前没有存储在hdfs中。要做到这一点，我需要一个新的服务器或不。

P.S:我需要一些好的教程或书籍，或者一些能让我深入了解大数据的文章，这样我就可以开始研究了。所以推荐是最受欢迎的。

Answer 1

Hadoop只是一个运行MapReduce风格工作负载的基础设施(用于服务器集群上的“大数据”或“分析”)。

您可以使用HDFS跨节点共享数据，然后使用Hadoop内置的工作负载管理将工作分配到存储数据的节点。这有时被称为“函数传送”。

但也有可能不使用HDFS。您可以使用另一个网络文件共享/分发机制。不同的供应商/平台支持FTP (文件副本)、S3 (从云访问)和各种其他集群/分布式文件系统。其中一些将数据转移到正在执行工作负载的系统(“数据传送”)。

哪种存储策略是合适的、高效的和性能良好的是一个大问题，并且在很大程度上取决于您的基础设施和您的MapReduce应用程序的数据访问模式。然而，一般说来，分析工作需要资源，所以只有小的分析应用程序才会运行在服务器上进行其他工作(“原始系统”)。因此，处理“大数据”往往意味着新的服务器--如果不是你购买的服务器，你从诸如AWS、RackSpace等云服务中临时租用的服务器--以及从生产过程中捕获的复制/克隆数据(“二级存储”)获得的数据流，而不是仍然驻留在“主存储”上的数据。

如果您刚刚开始使用小型或小型应用程序，您可能可以直接从现有系统中访问现有的数据。但是如果你有100 PB的日志，你会想要在专门处理这个任务的系统上处理。