将文件夹从LocalSystem加载到HDFS

Question

我的LocalSystem中有一个文件夹。它包含1000个文件，我会将它从我的LocalSystem移动或复制到HDFS

我尝试了这两个命令：

hadoop fs copyFromLocal C:/Users/user/Downloads/ProjectSpark/ling-spam /tmp

我还尝试了这个命令：

hdfs dfs -put /C:/Users/user/Downloads/ProjectSpark/ling-spam /tmp/ling-spam

它会显示一条错误消息，指出找不到我的目录，但我确信这是正确的。

我找到了一个函数getmerge()来将文件夹从HDFS移动到LocalSystem，但是我没有找到相反的方法。

你能帮帮我吗？

Answer 1

在Windows上使用

my VirtualBox，我在the 2.3.2上使用控制台安全外壳。

您不能将文件从Windows计算机复制到HDFS。您必须首先通过SCP将文件放入虚拟机(我推荐使用WinSCP或Filezilla)，然后才能使用hadoop fs将文件放入HDFS。

错误已更正，因为HDP沙箱上不存在C:/Users/user/Downloads，因为它是Linux计算机。

正如前面提到的，您也可以尝试使用Ambari HDFS文件查看器，但我仍然需要注意，SCP是官方的方式，因为并不是所有的Hadoop系统都有Ambari (或者至少是Ambari的HDFS文件视图)。

Answer 2

我会使用相互信息来对垃圾邮件或火腿进行分类。我有这样的操作: MI(Word)= Occ，Class) * Log2 * (Probabi(Occuren，类)/Probabi(Occurren)*∑(Class))。我理解了函数，我必须计算4个操作(true，ham)，(false，ham)，(true，spam)和(false，spam)。我不知道我到底写了谁，事实上，我计算了其中出现的文件的数量。但是我不知道我到底要在我的函数中写谁。非常感谢!

这是我的函数的集合: def computeMutualInformationFactor( probaWC:RDD(String，Double)，//单词在给定类中出现的概率。probaW:RDD(String，Double)，//单词在类中出现的概率probaC: Double，//类中出现邮件的概率(垃圾邮件或火腿) probaDefault: Double //缺少概率时的默认值):RDD(String，Double) ={