在EMR笔记本中添加外部jars

Question

我使用连接到EMR集群的EMR笔记本。内核是火花，语言是Scala。我需要一些位于S3桶里的罐子。我怎么加罐子？

如果是“火花壳”，这很容易：

火花-外壳- "s3://some/path/file.jar，s3://some/path/faile2.jar“

在scala控制台中，我也可以这样做

*要求S3://若干/path/file.jar

Answer 1

启动笔记本之后，您可以在一个单元格中这样做：

%%configure -f
{
"conf": {"spark.jars.packages": "com.jsuereth:scala-arm_2.11:2.0,ml.combust.bundle:bundle-ml_2.11:0.13.0,com.databricks:dbutils-api_2.11:0.0.3"},

"jars": [
        "//path to external downloaded jars"
    ],

}

Answer 2

把它写在你的第一段：

%%configure -f
{
    "conf": {
        "spark.jars": "s3://YOUR_BUCKET/YOUR_DRIVER.jar"
    }
}