使用CSI插件使用Velero备份GKE群集时，无法将GCP持久磁盘PVC恢复到其他区域

Question

我正在尝试使用Velero作为Google Cloud Platform中的备份和灾难恢复工具，其中包含多个GCP区域(例如: europe-north1和europe-west4)，用于GKE私有集群。我能够在同一区域使用velero成功地备份和恢复(备份欧洲-North1中的gke集群，并恢复到欧洲-North1中的另一个gke集群)，没有任何问题。这很好用，因为快照存储在两个群集的相同区域(europe-north1)中。

但是我想使用velero作为GKE集群的灾难恢复工具，这样我就可以备份欧洲-北部1地区的GKE集群，并将它们恢复到欧洲-西部4地区。在进一步的研究中，我发现通过enabling CSI plugin对velero的支持，我将能够实现同样的目标。因此，我遵循了在velero中使用CSI插件的指导原则，但我仍然无法将持久磁盘PVC恢复到另一个区域。快照是按多地区(例如，eu)拍摄的。但是当我运行velero restore命令时，pod创建(我正在使用wordpress和mysql pod作为例子)一直处于“挂起”状态。

kubectl describe pod (mysql和wordpress)给出以下错误：

   Normal   NotTriggerScaleUp  72s (x31 over 6m12s)  cluster-autoscaler  pod didn't trigger scale-up (it wouldn't fit if a new node is added):
  Warning  FailedScheduling   60s (x11 over 6m14s)  default-scheduler   0/4 nodes are available: 4 node(s) had volume node affinity conflict.

此错误是因为由PVC创建的google持久磁盘与GKE集群位于不同的区域。检查磁盘，我可以看到restore命令创建了两个磁盘，但它们仍然是在europe-north1区域(主gke集群区域)中创建的，而不是在辅助gke集群所在的europe-west4区域中创建的。

由于这是velero (CSI Plugin)的新特性，我找不到任何在GCP中使用它的文档(有一个文档显示了CSI implementation with Azure Disks)

用于velero备份的CSI插件的最低要求：

kubernetes version : 1.17
velero version: 1.4.2

Velero版本

velero version
Client:
        Version: v1.4.2
        Git commit: 56a08a4d695d893f0863f697c2f926e27d70c0c5
Server:
        Version: v1.4.2

GKE集群kubernetes版本(使用GcePersistentDiskCsiDriver=ENABLED插件创建的GKE集群)：

v1.17.9-gke.600 

主要区域：

europe-north1

辅助(DR)区域：

europe-west4

用于安装velero服务器的命令(启用CSI插件)：

velero install \ 
--features=EnableCSI \ 
--provider=gcp \ 
--image=gcr.io/$project/velero:v1.4.2  \ 
--plugins=gcr.io/$project/velero-plugin-for-gcp:v1.1.0,gcr.io/$project/velero-plugin-for-csi:v0.1.0 \ 
--bucket=$storagebucket \ 
--secret-file=$HOME/./velero-backup-storage-sa-key.json

我为此引用的其他文件：

https://velero.io/docs/v1.4/csi/#installing-velero-with-csi-support

https://cloud.google.com/kubernetes-engine/docs/how-to/persistent-volumes/gce-pd-csi-driver

任何帮助都将不胜感激。

Answer 1

在GCP中，默认情况下，VolumeSnapshots是多区域(但单个地理区域、欧洲或亚洲)。我已经成功地在GCP中测试了从us-cental1到us-east4的StatefulSet的跨区域恢复。但需要注意的是，我使用的是区域磁盘，并创建了配置了allowedTopologies的区域/区域特定的StorageClasses。这是我的还原SC：

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  annotations:
    storageclass.kubernetes.io/is-default-class: "true"
  name: regional-pd-ssd-csi-storageclass
provisioner: pd.csi.storage.gke.io
parameters:
  type: pd-ssd
  replication-type: regional-pd
reclaimPolicy: Delete
volumeBindingMode: WaitForFirstConsumer
allowedTopologies:
- matchLabelExpressions:
  - key: topology.gke.io/zone
    values:
    - us-east4-b
    - us-east4-c

下面是备份区域的SC：

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  annotations:
    storageclass.kubernetes.io/is-default-class: "true"
  name: regional-pd-ssd-csi-storageclass
provisioner: pd.csi.storage.gke.io
parameters:
  type: pd-ssd
  #replication-type is one of none or regional-pd, defaults to none (zonal PD)
  replication-type: regional-pd
reclaimPolicy: Delete
volumeBindingMode: WaitForFirstConsumer
allowedTopologies:
- matchLabelExpressions:
  - key: topology.gke.io/zone
    values:
    - us-central1-a
    - us-central1-b

可以在没有区域磁盘的情况下使用allowedTopologies，但是EBS CSI驱动程序不支持这些参数(据我所知)。