访问aws s3公共桶

Question

我正在尝试从亚马逊的一个公共桶中下载数据。下面是有关水桶的描述

存储桶有用于示例的web可访问文件夹。我想下载该文件夹中列出的所有文件。将会有一长串合适的标签被识别出来，目标是在一个文件夹中一次下载所有文件，而不是单独从http站点下载每个文件。

从其他的StackOverflow问题中，我意识到我需要使用REST端点，并使用像AWS或网络鸭子这样的工具，但是我还不能让这些工具工作。

我认为问题可能是认证。我没有AWS帐户，我希望继续访问客人/匿名访问。有没有人有一个好的解决方案/工具来遍历一个公共水桶，并作为客人抓取内容？使用curl或wget的不同方法是否适用于这类任务？

谢谢。

Answer 1

对于AWS，您需要提供--no-sign-request标志来跳过签名。示例：

> aws s3 ls landsat-pds
Unable to locate credentials. You can configure credentials by running "aws configure".
> aws s3 ls landsat-pds --no-sign-request
                           PRE L8/
                           PRE landsat-pds_stats/
                           PRE runs/
                           PRE tarq/
                           PRE tarq_corrupt/
                           PRE test/
2015-01-28 10:13:53      23764 index.html
2015-04-14 10:43:22         25 robots.txt
2016-07-13 12:53:31         38 run_info.json
2016-07-13 12:53:30   23971821 scene_list.gz

要将整个桶下载到目录中，您可以执行如下操作：

> mkdir landsat-pds
> aws s3 sync s3://landsat-pds landsat-pds --no-sign-request

Answer 2

• 我一直在

SSL validation failed for https://s3bucket.eu-central-1.amazonaws.com/?list-type=2&prefix=&delimiter=%2F&encoding-type=url [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1076)

• 为了周旋，我使用--no-verify-ssl所以

aws s3 ls s3bucket --no-sign-request --no-verify-ssl

..。有办法吗