预览图像的星火版本改变了吗？

Question

最近，我使用“预览”图像在上启动了一个Spark集群。根据文档，预览映像的Spark版本是'2.1.0'，但是运行spark-shell --version显示集群实际上运行的是Spark2.2.0。这对我们来说是个问题，因为我们的spark-avro版本与Spark2.2.0不兼容。还有其他人经历过这个问题吗？我还没有找到任何从谷歌官方宣布的版本凸起的痕迹。

Answer 1

很抱歉，最近preview图像更新的小版本说明丢失了；文档有望在明天更新。实际上，您是对的，当前的Dataproc preview版本现在是Spark2.2.0。如果您需要插入已知的旧的工作预览图像，您可以尝试：

gcloud dataproc clusters create --image https://www.googleapis.com/compute/v1/projects/cloud-dataproc/global/images/dataproc-1-2-20170227-145329

应该包含Spark2.1.0。尽管如此，请记住，通常情况下，在新的预览图像中进行不兼容的更改是可能的，而固定在旧的预览映像上并不能保证长期工作。

在您的情况下，您是否知道您是否正在访问此问题提交火花-阿夫罗，或者它是否特定于您的版本？理想情况下，我们应该让你更新到火花2.2，因为一个官方的(非预览)图像版本是即将与火花2.2。