麻省理工学院StarCluster和S3
麻省理工学院StarCluster和S3
提问于 2015-05-02 00:40:02
我试图在现场实例上运行mapreduce作业。我使用StarClusters及其hadoop插件启动我的实例。我没有问题上传数据，然后将其放入HDFS，然后将结果从HDFS复制回来。我的问题是，是否有方法直接从s3加载数据并将结果推回s3？(我不想手动将数据从s3下载到HDFS，并将结果从HDFS推送到s3，在后台有方法吗)？
我使用的是标准的麻省理工学院星团
回答 1
Stack Overflow用户
回答已采纳
发布于 2015-05-04 06:36:17
您不能这样做，但是您可以编写一个脚本来完成这个任务。例如，您可以使用:Hadoopdiscps3n://ID:key@mybucket/ file /user/root/file将文件直接从s3放到hdfs
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/29997056
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号