在EC2上运行大型数据集，担心存储

Question

我正在通过EC2进行一些序列分析。我希望我的输出文件超过2TB。在运行命令之前，我希望确保我有足够的空间，我将我的实例类型更改为数据处理的实例类型d2.4xlarge。

我的问题是:如果我正在运行命令，并且输出文件超过了xvda的存储容量，它会自动切换到xvdf吗？

希望这一信息能有所帮助：

lsblk
NAME    MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
loop0     7:0    0   18M  1 loop /snap/amazon-ssm-agent/
loop1     7:1    0 93.9M  1 loop /snap/core/9066
loop2     7:2    0   91M  1 loop /snap/core/6350
loop3     7:3    0   18M  1 loop /snap/amazon-ssm-agent/
xvda    202:0    0  4.9T  0 disk 
└─xvda1 202:1    0    2T  0 part /
xvdf    202:80   0  1.8T  0 disk 
xvdg    202:96   0  1.8T  0 disk 
xvdh    202:112  0  1.8T  0 disk 
xvdi    202:128  0  1.8T  0 disk 
xvdj    202:144  0  1.8T  0 disk 
xvdk    202:160  0  1.8T  0 disk 
xvdl    202:176  0  1.8T  0 disk 
xvdm    202:192  0  1.8T  0 disk 

您将看到xvda1与xvda不匹配，这是因为对于EBS，最大存储量为2tb (我需要更改该存储空间的大小)。

df
Filesystem      1K-blocks     Used  Available Use% Mounted on
udev             62832116        0   62832116   0% /dev
tmpfs            12570936      824   12570112   1% /run
/dev/xvda1     2081729452 45739112 2035973956   3% /
tmpfs            62854676        0   62854676   0% /dev/shm
tmpfs                5120        0       5120   0% /run/lock
tmpfs            62854676        0   62854676   0% /sys/fs/cgroup
/dev/loop0          18432    18432          0 100% /snap/amazon-ssm-agent/
/dev/loop1          96256    96256          0 100% /snap/core/
/dev/loop3          18432    18432          0 100% /snap/amazon-ssm-agent/
/dev/loop2          93184    93184          0 100% /snap/core/
tmpfs            12570932        0   12570932   0% /run/user/

谢谢！

Answer 1

如果我正在运行我的命令，并且输出文件超过了xvda的存储容量，它会自动切换到xvdf吗？

不是的。您需要挂载xvdf (似乎还没有这样做)，这将在您的文件系统中为它提供一个路径，然后您需要配置您的应用程序，以便在第一个位置耗尽空间时切换到那个挂载位置。

这是因为EBS的最大存储容量是2TB

AWS 这里的官方功能列表指出，最大卷大小为16 is。

如果您需要文件系统中的单个卷超过16 to，您可以考虑将EBS卷合并到RAID 0数组中，如文档所示的这里。