SparkSQL序列化缓存

Question

星火核心支持原始存储和序列化的RDD缓存。

这篇好文章是解释这篇。

如果您使用persist --您可以指定缓存的任何水平，但是如果您使用的是cache，则根据这个问题，默认情况下只能使用MEMORY_ONLY而不进行序列化。

有人知道如何在MEMORY_ONLY_SER中使用SparkSQL缓存吗？

cacheTable(my_table)将使用MEMORY_ONLY选项缓存，而不是使用MEMORY_ONLY_SER缓存，即使在默认情况下，在火花环境中有spark.storage.StorageLevel=MEMORY_ONLY_SER。

我的目标是使用来自SparkSQL的序列化表缓存。有什么想法吗？

Answer 1

尝试以下几点：

爪哇：

Option<String> tableName = new Some<String>("MyTable");
hiveContext.cacheManager().cacheQuery(hiveContext.table(tableName.get()),  tableName, StorageLevel.MEMORY_ONLY_SER());

Scala：

...cacheQuery(sqlContext.table(tableName), Some(tableName), MEMORY_ONLY_SER)

星星之火1.3.0+：

请参阅1.3.1分支代码

参见1.5.1分支代码 (使用hiveContext.isCached(tableName)验证)