回答情况：
提问时间：
问题标签：
Amazon EMR does not currently support use of the Apache Hadoop S3A file system, The s3a:// URI is not但是，我可以使用"s3a://“在spark作业中进行读写，而不会出现问题。
浏览 2提问于2018-07-31得票数 0
hadoop distcp hdfs://<<namenode_host>>:9000/user/ubuntu/input/flightdata s3a://<<bucketid>>
使用上面的命令获取异常下面java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: s3a:/
浏览 0提问于2016-05-05得票数 0
回答已采纳
我用s3a做读写。读取文件并执行转换是很好的，也没有问题。但是，当我尝试使用s3写入s3a并对其进行分区时，它会引发以下错误：
警告s3a.S3AFileSystem:找到文件(有/)：真正的文件？不应该发生:folder1 1/output org.apache.hadoop.fs.FileAlreadyExistsException:不能为路径‘s3A://Bucket1/folder1 1/im用于编写代码的部分如下所示，其中im试图附加到现有目录，但为新日期添加一个新分区：
浏览 4提问于2020-01-13得票数 0
，我得到这个错误
Caught exception while loading path, returning empty data frame: No FileSystem for scheme: s3a
浏览 0提问于2018-03-06得票数 0
1回答
我能够使用http协议读取文件，但我打算使用s3a协议。 val fileAPath = Files.s3aPath(Files.input); // s3a
浏览 7提问于2017-11-13得票数 0
回答已采纳
<String> linesRDD = _sparkContext.textFile(_jArgs.getFileLocation());
Exception found in job for file type : EMAIL
java.nio.file.AccessDeniedException: s3a://my.bucket/0.253592564392344final.txt:
浏览 0修改于2018-04-11得票数 2
value>xxxxxxxxxxxxx</value><property> <value>s3a://bucket_name</value> <name>fs.defaultFS</name
浏览 0修改于2019-07-27得票数 2
回答已采纳
但是，在使用Hadoop/Spark的S3A连接器时，接收到以下错误：
py4j.protocol.Py4JJavaError: An error occurred while calling o24.
浏览 0修改于2020-03-02得票数 8
但是，系统的某些部分依赖于S3A客户端。据我所知，它的格式不允许指向特定的名称服务器或端点。
有没有可能让S3A在本地环境下工作？
浏览 1修改于2018-10-05得票数 0
在使用Hadoop时，我更喜欢使用s3a而不是HDFS作为存储后端。Nutch1.x是否支持使用s3a而不是HDFS来存储数据？如果是，需要调整哪些相关的Nutch/Hadoop设置？
浏览 15提问于2019-08-12得票数 0
回答已采纳
1回答
我想在本地测试hadoop通过s3a访问ceph的性能，我做了以下工作：
在不使用s3a的前提下，在Hadoop的客户端调用Hadoop是正常的，它可以操作normally.In命令使用s3a，从网站，我添加了hadoop和hadoo
浏览 4提问于2021-05-07得票数 0
s3n/s3a文件系统是在本地虚拟化HDFS风格的文件系统，然后按配置的间隔推送，还是在写入s3n/s3a和写入s3之间存在一对一的对应关系？
我不太确定我问的是不是对的。如有任何指导，将不胜感激。
浏览 1提问于2017-04-07得票数 0
回答已采纳
如果我尝试写入hadoop文件系统而不是使用s3a，则不会发生这种情况，所以我认为我已经将问题缩小到s3a。)-写入s3a的最终目标。我想知道是否有一个最优的s3a配置，这样对于非常大的表，我就不会耗尽内存。df = spark.sql("SELECT * FROM my_big_table")
df.repartition(1).write.option("header", "true").csv("s3a://m
浏览 40提问于2020-08-30得票数 2
回答已采纳
我使用s3a从数据库读取数据帧并写入.parquet(s3a://bucketname//folder)。connection }val df_exe = execute(df_sql)
df_exe.write.parquet(s3a
浏览 15提问于2021-05-20得票数 1
回答已采纳
我已经通过k8s代理容器在坞中配置了Hadoop和spark，我们使用它来运行Jenkins作业，我们使用AWS。但是，在运行星火提交作业时，我们会得到以下错误 com.amazonaws.services.s3.model.AmazonS3Exception: Status Code: 403, AWS Service: Amazon S3, AWS Request ID: xxxxxxxxx, AWS Error Code: null, AWS
浏览 4修改于2022-11-26得票数 0
}这个类可以很好地处理单元测试中的本地(file:///)目录，但是当我试图在Hadoop集群中使用它将文件从HDFS (hdfs:///tmp/result)复制到AmazonS3 (s3a当我将同一个类(包括HDFS或S3a文件系统)用于另一个目的时，它可以正常工作，因此配置和fs引用在这里应该是可以的。
我做错什么了？如何正确地将文件从HDFS复制到S3A？
浏览 0修改于2019-08-20得票数 0
回答已采纳
AFAIK是Hadoop + Spark的最新、最好的S3实现，它是通过使用"s3a://“url协议调用的。这在预配置的Amazon EMR上非常有效。
浏览 0提问于2016-09-03得票数 3
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号