首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何对ElasticSearch (使用org.elasticsearch.spark.sql格式)执行SQL查询?

问如何对ElasticSearch (使用org.elasticsearch.spark.sql格式)执行SQL查询?
EN

Stack Overflow用户
提问于 2016-10-10 09:17:42
回答 3查看 3.6K关注 0票数 8

使用Spark 1.6.0和ES 5.0.0-alpha5,我尝试在Spark中获取一些数据帧。我正在使用这个包

代码语言:javascript
复制
--packages org.elasticsearch:elasticsearch-spark-13_2.10:5.0.0-alpha5

使用

代码语言:javascript
复制
sqlContext.read.format("org.elasticsearch.spark.sql").option("es.nodes", "my_host").load("logstash-2016.10.10/my_type")

我可以执行printSchema并查看我的字段。

然而,其中任何一个都将永远挂起,没有例外,似乎没有任务提交给Spark

代码语言:javascript
复制
count, first, etc.

我如何调试它呢?任何提示都将不胜感激!

编辑:我在一个docker容器中运行elasticsearch,我可以(也)通过Kibana和直接的http rest查询成功地连接到这个容器。

EN

回答 3

Stack Overflow用户

发布于 2016-12-03 18:07:15

在我的例子中,我将ElasticSearch和Spark实例作为Docker容器在Google Cloud中运行。在到处阅读和搜索之后,我偶然发现了这个:https://www.elastic.co/guide/en/elasticsearch/hadoop/master/cloud.html。ES Spark连接器有一个名为es.nodes.wan.only的设置,这使得它可以在云环境中运行,例如Google cloud或亚马逊网络服务。我遇到了与之前的操作完全相同的问题,例如,printSchema可以工作,但任何聚合器都不能工作,而这个精确的设置为我解决了它!

您可以在初始化SparkConfig时对其进行配置,如下所示:

代码语言:javascript
复制
val conf = new SparkConf()
.setAppName("MySparkModel")
.set("es.nodes.wan.only", "true)
票数 4
EN

Stack Overflow用户

发布于 2016-12-03 04:34:20

免责声明:我没有使用ElasticSearch的经验,所以错误也不例外。

我使用的是今天早上构建的最新的Spark版本2.1.0-SNAPSHOT。

代码语言:javascript
复制
$ ./bin/spark-shell --version
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.1.0-SNAPSHOT
      /_/

Using Scala version 2.11.8, Java HotSpot(TM) 64-Bit Server VM, 1.8.0_112
Branch master
Compiled by user jacek on 2016-12-02T05:06:30Z
Revision a5f02b00291e0a22429a3dca81f12cf6d38fea0b
Url https://github.com/apache/spark.git
Type --help for more information.

我使用的是使用官方文档Installation Steps安装的ElasticSearch 5.0.2。

在没有任何更改的情况下,我使用./bin/elasticsearch运行了一个ES实例。不更改默认配置。

代码语言:javascript
复制
$ curl http://localhost:9200/
{
  "name" : "5PW1rOj",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "nqHBMN7JTw2j8_FD0FZpDg",
  "version" : {
    "number" : "5.0.2",
    "build_hash" : "f6b4951",
    "build_date" : "2016-11-24T10:07:18.101Z",
    "build_snapshot" : false,
    "lucene_version" : "6.2.1"
  },
  "tagline" : "You Know, for Search"
}

我找到elasticsearch-hadoop module for Spark了。他们刚刚发布了5.0.2,所以(在阅读了一些关于如何使用Spark和ES的内容之后)我运行了spark-shell,如下所示:

代码语言:javascript
复制
$ ./bin/spark-shell --packages org.elasticsearch:elasticsearch-spark-20_2.11:5.0.2

请注意,我知道并且仍然对ElasticSearch一无所知。

当spark-shell启动时,我执行了以下命令:

代码语言:javascript
复制
scala> import org.elasticsearch.spark.sql._
import org.elasticsearch.spark.sql._

scala> (0 to 10).toDF.saveToEs("spark/helloworld")

我确实注意到Spark作业执行正常,因为我可以在ElasticSearch的日志中注意到它:

2016-12-02T21:23:02,628o.e.c.m.MetaDataMappingService spark/jXB6Km6xSjuHxitxjj6Ebw create_mapping helloworld

在使用ES一段时间后,我得到了以下索引:

代码语言:javascript
复制
$ http http://localhost:9200/spark
HTTP/1.1 200 OK
content-encoding: gzip
content-type: application/json; charset=UTF-8
transfer-encoding: chunked

{
    "spark": {
        "aliases": {},
        "mappings": {
            "hello": {
                "properties": {
                    "value": {
                        "type": "long"
                    }
                }
            },
            "hello2": {
                "properties": {
                    "value": {
                        "type": "long"
                    }
                }
            },
            "helloworld": {
                "properties": {
                    "value": {
                        "type": "long"
                    }
                }
            }
        },
        "settings": {
            "index": {
                "creation_date": "1480709570254",
                "number_of_replicas": "1",
                "number_of_shards": "5",
                "provided_name": "spark",
                "uuid": "jXB6Km6xSjuHxitxjj6Ebw",
                "version": {
                    "created": "5000299"
                }
            }
        }
    }
}

我可以使用以下查询找到我的最后一个spark/helloworld:

代码语言:javascript
复制
$ http http://localhost:9200/spark/helloworld/7
HTTP/1.1 404 Not Found
content-encoding: gzip
content-type: application/json; charset=UTF-8
transfer-encoding: chunked

{
    "_id": "7",
    "_index": "spark",
    "_type": "helloworld",
    "found": false
}

最后但并非最不重要的一点是,Spark的web UI使用Spark作业进行ElasticSearch查询。

​

​

它似乎从一开始就工作得很好,没有对ElasticSearch或模块进行任何更改。

啊,我早就忘了count了

代码语言:javascript
复制
scala> spark.read.format("es").load("spark/helloworld").count
res4: Long = 22

​

​

票数 3
EN

Stack Overflow用户

发布于 2016-12-01 19:00:58

这个问题很老了,但我将描述我使用ES 5.0和Spark 2.0的方法,以供将来参考。我认为ES-Hadoop文档对使用什么工件和API有点不清楚。

我使用了org.elasticsearch:elasticsearch-spark-20_2.11:5.0和以下代码:

代码语言:javascript
复制
// add to your class imports
import org.elasticsearch.spark.sql._

// Use Spark 2.0 SparkSession object to provide your config
val sparkSession = SparkSession.builder().config(...).getOrCreate()
// Optional step, imports things like $"column"
import sparkSession.implicits._
// Specify your index and type in ES
val df = spark.esDF("index/type")
// Perform an action
df.count()

我假设Spark 1.6的情况非常类似,只是有一些小的变化。特别是,您应该使用SQLContext或HiveContext,而不是SparkSession。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/39950155

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档