首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何使用Pyspark和Dataframes查询Elasticsearch索引

问如何使用Pyspark和Dataframes查询Elasticsearch索引
EN

Stack Overflow用户
提问于 2016-07-03 01:44:03
回答 3查看 13.2K关注 0票数 11

Elasticsaerch的文档只涵盖了加载到Spark的完整索引。

代码语言:javascript
复制
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
df = sqlContext.read.format("org.elasticsearch.spark.sql").load("index/type")
df.printSchema()

如何执行查询以从Elasticsearch索引返回数据,并使用pyspark将它们作为DataFrame加载到Spark?

EN

回答 3

Stack Overflow用户

发布于 2016-07-05 04:43:56

下面是我是怎么做的。

常规环境设置和命令:

代码语言:javascript
复制
export SPARK_HOME=/home/ezerkar/spark-1.6.0-bin-hadoop2.6
export PYSPARK_DRIVER_PYTHON=ipython2

./spark-1.6.0-bin-hadoop2.6/bin/pyspark --driver-class-path=/home/eyald/spark-1.6.0-bin-hadoop2.6/lib/elasticsearch-hadoop-2.3.1.jar

代码:

代码语言:javascript
复制
from pyspark import SparkConf
from pyspark.sql import SQLContext

conf = SparkConf().setAppName("ESTest")
sc = SparkContext(conf=conf)
sqlContext = SQLContext(sc)

q ="""{
  "query": {
    "filtered": {
      "filter": {
        "exists": {
          "field": "label"
        }
      },
      "query": {
        "match_all": {}
      }
    }
  }
}"""

es_read_conf = {
    "es.nodes" : "localhost",
    "es.port" : "9200",
    "es.resource" : "titanic/passenger",
    "es.query" : q
}

es_rdd = sc.newAPIHadoopRDD(
    inputFormatClass="org.elasticsearch.hadoop.mr.EsInputFormat",
    keyClass="org.apache.hadoop.io.NullWritable", 
    valueClass="org.elasticsearch.hadoop.mr.LinkedMapWritable", 
    conf=es_read_conf)

sqlContext.createDataFrame(es_rdd).collect()

您还可以定义数据框列。有关更多信息,请参阅Here。

希望它能有所帮助!

票数 6
EN

Stack Overflow用户

发布于 2017-08-18 21:02:46

我使用pyspark在Amazon的EMR集群中运行我的代码。然后,我让它工作的方式是遵循以下步骤:

1)将此引导程序操作放入集群创建中(以创建localhost elasticsearch服务器):

代码语言:javascript
复制
s3://awssupportdatasvcs.com/bootstrap-actions/elasticsearch/elasticsearch_install.4.0.0.rb

2)我运行这些命令,用一些数据填充elasticsearch数据库:

代码语言:javascript
复制
 curl -XPUT "http://localhost:9200/movies/movie/1" -d' {
   "title": "The Godfather",
   "director": "Francis Ford Coppola",
   "year": 1972
  }'

如果愿意,您还可以运行其他curl命令,例如:

代码语言:javascript
复制
curl -XGET http://localhost:9200/_search?pretty=true&q={'matchAll':{''}}

3)我使用以下参数初始化了pyspark:

代码语言:javascript
复制
pyspark --driver-memory 5G --executor-memory 10G --executor-cores 2 --jars=elasticsearch-hadoop-5.5.1.jar

我之前下载过elasticsearch python客户端

4)我运行以下代码:

代码语言:javascript
复制
from pyspark import SparkConf
from pyspark.sql import SQLContext

q ="""{
  "query": {
    "match_all": {}
  }  
}"""

es_read_conf = {
    "es.nodes" : "localhost",
    "es.port" : "9200",
    "es.resource" : "movies/movie",
    "es.query" : q
}

es_rdd = sc.newAPIHadoopRDD(
    inputFormatClass="org.elasticsearch.hadoop.mr.EsInputFormat",
    keyClass="org.apache.hadoop.io.NullWritable", 
    valueClass="org.elasticsearch.hadoop.mr.LinkedMapWritable", 
    conf=es_read_conf)

sqlContext.createDataFrame(es_rdd).collect()

然后我终于从命令中得到了成功的结果。

票数 2
EN

Stack Overflow用户

发布于 2018-02-12 23:54:42

我遇到过类似的问题,要将经过地理位置过滤的数据放入PySpark DataFrame中。我使用的是elasticsearch- Spark -20_2.11-5.2.2.jar与Spark版本2.1.1和ES版本5.2。通过在创建DataFrame时将查询指定为一个选项,我可以将数据加载到DataFrame中

我的地理查询

代码语言:javascript
复制
q ="""{
  "query": {
        "bool" : {
            "must" : {
                "match_all" : {}
            },
           "filter" : {
                "geo_distance" : {
                    "distance" : "100km",
                    "location" : {
                        "lat" : 35.825,
                        "lon" : -87.99
                    }
                }
            }
        }
    }
}"""

我使用以下命令将数据加载到DataFrame中

代码语言:javascript
复制
spark_df = spark.read.format("es").option("es.query", q).load("index_name")
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/38162901

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档