如何在HDP (Hortonworks Data Platform)中安装scala库

Question

提前感谢你花时间阅读这篇文章，并为我糟糕的英语表示抱歉。

我正在尝试使用Spark streaming进行实时数据处理。我已经在HDP (Hortonworks Data Platform)中安装了Spark，对于我的进程，我需要为JSONparsing安装一个scala库。我在互联网上读到了很多关于它的东西，但它只是一个简单的Spark Cluster，而不是HDP和CDH这样的解决方案，我试图调整解决方案，但我不能，我没有找到任何scala文件来安装它。有没有人知道一个解决方案或者小贴士来帮助我？谢谢

Answer 1

要在Zeppelin中加载Spark的依赖项，您需要创建一个新的单元格并使用以下内容：

%dep
// it's a good idea to do a reset first, but not required
z.reset()
// the following line will load directly from the Maven online repo
z.load("org.apache.spark:spark-streaming-karka_2.10:1.6.1")

有关加载齐柏林飞艇依赖项的更多详细信息，请单击此处：https://zeppelin.apache.org/docs/latest/interpreter/spark.html#3-dynamic-dependency-loading-via-dep-interpreter

这里要注意的是，依赖项加载必须是您在笔记本上运行的第一个单元格，如果不是，它将给您一条错误消息。要解决此问题，请单击解释器选项卡，然后在Spark解释器上单击重新启动，然后返回到您的笔记本并运行带有%dep的单元