如何掌握spark sql

Question

我是一位能激发sql活力的纽比。我发现编写具有复杂逻辑的spark查询程序可能非常棘手。例如，我知道spark sql库中的运算符是相当有限的，所以有时我们需要实现UDF。但是，您如何知道库操作员是否可以执行某些操作？如何知道是否需要实现UDF？我发现很多开发者都能写出精美的Spark程序。你是怎么掌握Spark的？如何使用Spark SQL提高我的编程能力。我应该先掌握MYSQL吗？我是一个有软件开发背景的学生。我错过了什么？

Answer 1

@Young。如果你是问具体的火花sql，那么我会建议提高你的sql。尝试复杂的sql，主题包括: GROUP BY、ALL JOINS、窗口函数等。

https://www.techonthenet.com/sql/index.php

并介绍了SQL。我认为MySql并不重要，因为它很庞大，而且它有自己的实现和不同的逻辑。对你来说重要的事情是学习ANSI SQL。你可以在虚拟环境上练习，称为小提琴。这里有一个：

https://www.db-fiddle.com/

然后，您需要针对不同的sql问题进行练习，Hackerrank的SQL练习就足够了。

在此之后，您应该转到Spark SQL并探索所有可用的函数。

https://spark.apache.org/docs/2.4.1/api/sql/