如何用python在hadoop中保存文件

Question

我试图用python2.7在Hadoop中保存文件。我在网上搜索。我有一些代码可以在Hadoop中保存一个文件，但是它在保存时占用了整个文件夹(该文件夹中的总文件正在Hadoop中保存)。但我需要保存一个特定的文件。

下面是在Hadoop中保存文件夹的链接：http://www.hadoopy.com/en/latest/tutorial.html#putting-data-on-hdfs

现在，我需要的是在Hadoop中保存一个特定的文件，比如abc.txt。

这是我的代码：

import hadoopy
hdfs_path = 'hdfs://192.168.x.xxx:xxxx/video/py5'
def main():
   local_path = open('abc.txt').read()
   hadoopy.writetb(hdfs_path, local_path)


if __name__ == '__main__':
    main()

我得到了need more than one value to unpack

任何帮助都将不胜感激。

Answer 1

hadoopy.writetb似乎期望两个值的可迭代性作为其第二个参数。尝试：

hadoopy.writetb(hdfs_path, [("abc.txt", open("abc.txt").read())])

Answer 2

http://www.hadoopy.com/en/latest/api.html?highlight=hadoopy.writetb#hadoopy.writetb

写b需要第二位arg作为kvs - Iterator of (键，值)

根据您提供的链接，您已经忘记在代码中复制函数read_local_dir。