雪花SnowPark Python -Clarifications

Question

关于Python中的SnowPark有几个问题。

1. 既然我们已经有了雪花蟒蛇连接器(免费)，可以用雪花DW连接到python jupyter，为什么我们需要斯诺帕克呢？
2. 如果我们使用雪花并连接本地jupyter文件来运行ML模型。它是使用我们的本地机器计算能力还是雪花计算能力?如果它是我们的本地机器计算能力，我们如何使用雪花计算能力来运行ml模型？

Answer 1

1. 使用Python的斯诺帕克允许您像对待Spark一样对待雪花桌。这意味着，您可以在雪花表上运行电火花代码，而不需要从雪花中提取数据，计算是雪花计算，而不是本地机器，它完全是弹性的。
2. 只要您在python中执行逻辑，计算就会在雪花端。如果您将数据拉回计算机以执行其他逻辑(例如，熊猫)，则斯诺帕克将将数据拉回您的本地计算机，计算将正常进行。

我建议从这里开始了解更多：

https://docs.snowflake.com/en/developer-guide/snowpark/index.html

Answer 2

需要记住的几件事是，我们在这里讨论的是多个问题，如果有一些澄清的话，可能会更好。

斯诺公园是通过pip/conda安装的一个库，它是一个dataframe库，这意味着您将能够定义指向雪花中数据的dataframe对象(还可以使用它将数据导入雪花)。它不会将数据撤回给客户端，除非您也显式地告诉它，并且所有的计算都是在雪花端完成的。

当您对斯诺公园数据进行操作时，您使用的是Python代码，它将生成在雪花中执行的SQL，使用的机制与编写自己的SQL的机制相同。生成的SQL的执行由诸如.show()、.collect()、save_as_table()等动作方法触发。

更多信息这里

作为雪花Python支持的一部分，还有Python和Python存储过程，您不需要斯诺帕克来创建或使用这些过程，因为您可以使用SQL使用create函数/ CREATE存储过程来实现这些功能，但也可以使用斯诺part。

使用Python和Python存储过程，您可以将Python代码放入雪花中，在雪花计算上执行，它不会被转换为SQL，而是使用运行在计算节点上的Python沙箱。

为了使用Python存储过程或Python，您不需要做任何事情，它就像任何在雪花特性中内置的特性一样。

有关Python UDF和Python存储过程的更多信息。

雪花Python连接器允许您编写在雪花上执行的SQL，并将结果拖回要在那里使用的客户端，使用客户端内存等。如果希望在雪花中执行操作，则需要为此编写SQL。

Answer 3

斯诺帕克python提供了雪花python连接器没有的以下优点

1. 用户可以将自定义python客户端代码以UDF (用户定义函数)的形式引入雪花中，并在Dataframe上使用这些函数。

它允许数据工程师、数据科学家和数据开发人员以他们熟悉的方式使用自己选择的语言编写代码，并在一个平台上更快、更安全地执行管道、ML工作流和数据应用程序。

1. 用户可以使用Dataframe ( Dataframe编程风格)的常见语法构建/处理查询。
2. 用户可以使用所有流行的Anaconda的库，所有这些库都是预先安装的.用户可以从Anaconda的库中访问数百个经过管理的开源Python包。
3. 在服务器上懒洋洋地执行斯诺帕克操作，这减少了客户端与雪花数据库之间传输的数据量。

有关更多细节，请参阅文档