我有一个非常简单的mysql表,包含5个列,但有500万个数据。早些时候,当数据较少时,我的服务器负载非常少,但现在随着数据超过500万,负载正在增加,我预计到今年年底,它将达到1000万,所以服务器将变得更慢。pid title app get EXPLAIN SELECT * FROM tableA ORDER BY id DESC LIMIT 4061280 , 10
val hiveObj = new HiveContext(sc)这里的df大约有200万行org.apache.spark.sql.functions.rand
现在,当我尝试显示df行时,我花了几秒钟时间,当我尝试使用subdf进行存储时,我花了10多分钟,尽管行数非常少。df.select("col").s