使用Spark 1.6.0和ES 5.0.0-alpha5,我尝试在Spark中获取一些数据帧。我正在使用这个包
--packages org.elasticsearch:elasticsearch-spark-13_2.10:5.0.0-alpha5使用
sqlContext.read.format("org.elasticsearch.spark.sql").option("es.nodes", "my_host").load("logstash-2016.10.10/my_type")我可以执行printSchema并查看我的字段。
然而,其中任何一个都将永远挂起,没有例外,似乎没有任务提交给Spark
count, first, etc.我如何调试它呢?任何提示都将不胜感激!
编辑:我在一个docker容器中运行elasticsearch,我可以(也)通过Kibana和直接的http rest查询成功地连接到这个容器。
发布于 2016-12-03 18:07:15
在我的例子中,我将ElasticSearch和Spark实例作为Docker容器在Google Cloud中运行。在到处阅读和搜索之后,我偶然发现了这个:https://www.elastic.co/guide/en/elasticsearch/hadoop/master/cloud.html。ES Spark连接器有一个名为es.nodes.wan.only的设置,这使得它可以在云环境中运行,例如Google cloud或亚马逊网络服务。我遇到了与之前的操作完全相同的问题,例如,printSchema可以工作,但任何聚合器都不能工作,而这个精确的设置为我解决了它!
您可以在初始化SparkConfig时对其进行配置,如下所示:
val conf = new SparkConf()
.setAppName("MySparkModel")
.set("es.nodes.wan.only", "true)发布于 2016-12-03 04:34:20
免责声明:我没有使用ElasticSearch的经验,所以错误也不例外。
我使用的是今天早上构建的最新的Spark版本2.1.0-SNAPSHOT。
$ ./bin/spark-shell --version
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 2.1.0-SNAPSHOT
/_/
Using Scala version 2.11.8, Java HotSpot(TM) 64-Bit Server VM, 1.8.0_112
Branch master
Compiled by user jacek on 2016-12-02T05:06:30Z
Revision a5f02b00291e0a22429a3dca81f12cf6d38fea0b
Url https://github.com/apache/spark.git
Type --help for more information.我使用的是使用官方文档Installation Steps安装的ElasticSearch 5.0.2。
在没有任何更改的情况下,我使用./bin/elasticsearch运行了一个ES实例。不更改默认配置。
$ curl http://localhost:9200/
{
"name" : "5PW1rOj",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "nqHBMN7JTw2j8_FD0FZpDg",
"version" : {
"number" : "5.0.2",
"build_hash" : "f6b4951",
"build_date" : "2016-11-24T10:07:18.101Z",
"build_snapshot" : false,
"lucene_version" : "6.2.1"
},
"tagline" : "You Know, for Search"
}我找到elasticsearch-hadoop module for Spark了。他们刚刚发布了5.0.2,所以(在阅读了一些关于如何使用Spark和ES的内容之后)我运行了spark-shell,如下所示:
$ ./bin/spark-shell --packages org.elasticsearch:elasticsearch-spark-20_2.11:5.0.2请注意,我知道并且仍然对ElasticSearch一无所知。
当spark-shell启动时,我执行了以下命令:
scala> import org.elasticsearch.spark.sql._
import org.elasticsearch.spark.sql._
scala> (0 to 10).toDF.saveToEs("spark/helloworld")我确实注意到Spark作业执行正常,因为我可以在ElasticSearch的日志中注意到它:
2016-12-02T21:23:02,628o.e.c.m.MetaDataMappingService spark/jXB6Km6xSjuHxitxjj6Ebw create_mapping helloworld
在使用ES一段时间后,我得到了以下索引:
$ http http://localhost:9200/spark
HTTP/1.1 200 OK
content-encoding: gzip
content-type: application/json; charset=UTF-8
transfer-encoding: chunked
{
"spark": {
"aliases": {},
"mappings": {
"hello": {
"properties": {
"value": {
"type": "long"
}
}
},
"hello2": {
"properties": {
"value": {
"type": "long"
}
}
},
"helloworld": {
"properties": {
"value": {
"type": "long"
}
}
}
},
"settings": {
"index": {
"creation_date": "1480709570254",
"number_of_replicas": "1",
"number_of_shards": "5",
"provided_name": "spark",
"uuid": "jXB6Km6xSjuHxitxjj6Ebw",
"version": {
"created": "5000299"
}
}
}
}
}我可以使用以下查询找到我的最后一个spark/helloworld:
$ http http://localhost:9200/spark/helloworld/7
HTTP/1.1 404 Not Found
content-encoding: gzip
content-type: application/json; charset=UTF-8
transfer-encoding: chunked
{
"_id": "7",
"_index": "spark",
"_type": "helloworld",
"found": false
}最后但并非最不重要的一点是,Spark的web UI使用Spark作业进行ElasticSearch查询。

它似乎从一开始就工作得很好,没有对ElasticSearch或模块进行任何更改。
啊,我早就忘了count了
scala> spark.read.format("es").load("spark/helloworld").count
res4: Long = 22

发布于 2016-12-01 19:00:58
这个问题很老了,但我将描述我使用ES 5.0和Spark 2.0的方法,以供将来参考。我认为ES-Hadoop文档对使用什么工件和API有点不清楚。
我使用了org.elasticsearch:elasticsearch-spark-20_2.11:5.0和以下代码:
// add to your class imports
import org.elasticsearch.spark.sql._
// Use Spark 2.0 SparkSession object to provide your config
val sparkSession = SparkSession.builder().config(...).getOrCreate()
// Optional step, imports things like $"column"
import sparkSession.implicits._
// Specify your index and type in ES
val df = spark.esDF("index/type")
// Perform an action
df.count()我假设Spark 1.6的情况非常类似,只是有一些小的变化。特别是,您应该使用SQLContext或HiveContext,而不是SparkSession。
https://stackoverflow.com/questions/39950155
复制相似问题