我想上传大型图像文件到谷歌云端,以便在RStudio上进行机器学习。
每个图像压缩大约4.7gb,解压缩比下载要花费更长的时间。我想知道是否有一种方法可以通过使用当前的Kaggle (例如:https://www.kaggle.com/c/5174/download/Images_1.zip或https://www.kaggle.com/c/avito-duplicate-ads-detection/data )将图像文件上传到google,并在VM RStudio上快速提取它们以进行数据分析?
发布于 2018-03-08 11:44:08
您在Linux中安装了RStudio吗?如果是这样的话,可以使用命令sudo gcloud compute ssh <your-instance-name> --zone <your-instance-zone>将ssh放到实例中,然后从实例内部使用惠特下载文件:
wget https://www.kaggle.com/c/5174/download/Images_1.zipwget在下载过程中可能会断开连接,但是您可以使用上面链接中描述的选项来帮助您成功下载,比如-t和-c选项分别用于尝试下载更多次或继续获取部分下载的文件。
下载文件后,可以使用7ZIP解压缩下载文件所在的目录中的文件,以使用命令:7z e Images_1.zip
可以使用以下命令将文件复制到GCP桶:
gsutil cp Images_1 gs://<your-bucket-name>
如果VM中没有安装wget和7zip,您可以按照指令惠特和7zip安装它们,如下所示。本示例适用于Ubuntu或Debian:
sudo apt-get update
sudo apt-get install wget
sudo apt-get install p7zip-full只需按照安装说明。
https://serverfault.com/questions/900373
复制相似问题