Elasticsearch spark读取速度慢

文章/答案/技术大牛

发布

1回答

scala、apache-spark、elasticsearch、elasticsearch-spark

使用指定的spark连接器org.elasticsearch:elasticsearch-spark-20_2.11:6.3.2从Elasticsearch v6.2读取spark的速度慢得可怕。MmVwAwYfTz4eE_L-tncbwQ 5 1 199983131 9974871 105.1gb 51.8gb 在(10个节点、1tb内存、>50个VCPU) spark群集上读

浏览 2提问于2018-08-15得票数 1

1回答

spark-elasticsearch连接器是否支持以多个并行方式读取es索引数据

elasticsearch

我在https://www.elastic.co/guide/en/elasticsearch/hadoop/master/spark.html#spark-read上阅读我想读取属于某个索引的所有数据我想问一下这个spark-elasticsearch连接器是否支持多个并行的读取，以便我可以加快读取速度。

浏览 64提问于2021-08-04得票数 0

1回答

使用火花中的弹性搜索火花读取数据时如何转换类型

scala、apache-spark、elasticsearch、elasticsearch-spark

当我尝试使用esRDD("index")函数读取elasticsearch中的数据时，我得到了org.apache.spark.rdd.RDD[(String, scala.collection.Map然而，我在上看到，上面写着： scalaVersion := "2.11.8" libraryDependencies += &qu

浏览 4提问于2017-07-06得票数 3

回答已采纳

1回答

不能摄取DF到elasticsearch

apache-spark、elasticsearch、apache-spark-sql、apache-spark-2.0

我正在读取星火-scala中的拼花文件，并进行计算和过滤。我想从elasticsearch中摄取最终的数据帧。我试过跟踪，但没能让它工作。import org.elasticsearch.spark._ val spark = SparkSession.builder.appName("test dumper").config("Use 'org.elasticsearch<

浏览 0提问于2019-01-17得票数 0

1回答

星星之火无法从Elasticsearch/Opensearch读取。接收到的无效地图dynamic_date_formats

scala、apache-spark、elasticsearch、opensearch、elasticsearch-spark

嗨，我正在尝试使用Scala2.11.12、Spark2.3.0和elasticsearch-20 7.7.0从OpenSearch 1.3.4索引中读取以下代码： .load("myIndex")但我知道这个错误(RestReposit

浏览 12提问于2022-08-17得票数 0

回答已采纳

3回答

Spark structured streaming Elasticsearch集成问题。数据源es不支持流式写入

apache-spark-sql、spark-streaming

我正在编写一个Spark结构的流媒体应用程序，其中使用Spark处理的数据需要沉没到弹性搜索。这是我的开发环境，因此我有一个独立的Elastic search。1.ds.writeStream().format("org.elasticsearch.spark.sql").start("spark/orders"); 2.ds.writeStream().format>org.apache.spark</group

浏览 1提问于2017-09-26得票数 3

1回答

正在尝试从spark读取弹性搜索，正在获取“验证失败: 1:未指定滚动ids”

elasticsearch、apache-spark

我正在尝试通过spark-shell (Spark version 1.5.2)读取通过spark数据帧的弹性搜索索引。spark-shell --jars /transfer/hdp/lib/elasticsearch-spark_2.10-2.3.2.jar import org.apache.spark.SparkContextimport org.apache.spark.SparkCo

浏览 0提问于2016-06-21得票数 0

1回答

如何从星火中的多个弹性搜索指数中读取？

scala、apache-spark、elasticsearch、spark-dataframe

我需要读取多个Elasticsearch索引中的数据。但所有这些指数都有相同的数据结构。例如： .option("query", myquery) .load("

浏览 0提问于2018-04-24得票数 0

回答已采纳

2回答

星星之火无法检测ES版本--通常在无法访问网络/Elasticsearch群集时发生这种情况。

apache-spark、elasticsearch

我试图从本地elasticsearch读取数据，并获得“无法检测ES版本.‘es.nodes.wan.only”错误，但是当我启用跟踪日志时，应用程序能够连接到elasticsearch。(InitializationUtils.java:196) at org.elasticsearch.spark.sql.SchemaUtils$.discoverMappingAsFieldat org.elasticsearch.spark.sql.Elasticsear

浏览 0提问于2020-05-07得票数 1

1回答

Spark ElasticSearch配置-从Spark读取弹性搜索

scala、apache-spark、elasticsearch、hadoop

我正在尝试通过Spark Scala从ElasticSearch读取数据。我看到很多关于这个问题的帖子，我已经尝试了他们在不同帖子中提到的所有选项，但似乎没有什么对我有效 import org.elasticsearch.spark<

浏览 363提问于2020-02-04得票数 0

1回答

如何使用spark* (Eclipse)从Elasticsearch读取数据并将其转换为表格格式*

eclipse、apache-spark、elasticsearch、hadoop

我已经成功地将csv文件推送到我的elasticsearch中。val spark=SparkSession.builder() .config("spark.master","local") .config("spark.es.port",

浏览 25提问于2020-06-14得票数 1

0回答

使用apache Spark* & Scala从ElasticSearch读取数据时出现连接错误*

scala、apache-spark

我给出了以下代码 .setMaster("local[*]")val count = sc.esRDD(resource).count()使用，sparkversion=1.5.2并给定库依赖性，如下所

浏览 1提问于2016-07-11得票数 2

回答已采纳

1回答

使用火花读取弹性搜索记录时的无效时间戳

apache-spark、elasticsearch、elasticsearch-hadoop

在使用Spark和Elasticsearch库读取elasticsearch记录时，我得到了无效的时间戳。我使用以下火花代码读取记录： val elasticFields = Seq( "action",category", ) "C

浏览 2提问于2021-01-23得票数 0

回答已采纳

1回答

SparkContext对象没有属性esRDD (弹性搜索-火花连接器)

apache-spark、elasticsearch、pyspark

在星火外壳中，我成功地使用了elasticsearch-hadoop连接器(特别是为spark开发的连接器: elasticsearch-spark-20_2.11-5.1.2.jar)。激发火花： ] $SPARK_HOME/bin/spark-shell --master local[2] --jars ~/spark/jars/elasticsearch-spark-20_2.1

浏览 3提问于2017-02-04得票数 1

回答已采纳

1回答

从spark查询弹性搜索大索引

scala、apache-spark、elasticsearch、apache-spark-sql

) at java.lang.Thread.run(Thread.java:745) 通过这种方式，我尝试将scroll.limit属性设置为1000，以便读取我通过手动过滤(按压)数据来修正这个问题，从而减少了向Elasticsearch请求的数据量。我使用时间戳来限

浏览 0提问于2017-11-23得票数 1

1回答

Elasticsearch Spark解析问题-无法解析字段[Y]的值[X]

apache-spark、elasticsearch、pyspark

我正在使用火花2.3 (火花)从ElasticSearch6.6索引中读取数据。星火作业试图创建一个df，但是在解析问题上失败了：df = spark.read.format("org.elasticsearch.spark.sql").option("es.resource.read", index_name).option("es.nodes", hosts).load()org.elasticsearch

浏览 0提问于2019-05-11得票数 4

1回答

SCALA和弹性搜索:向类路径添加符号(Databricks)

scala、elasticsearch、dependencies、sbt、databricks

build.sbt包含：libraryDependencies += "com.typesafe" % "config" % "1.3.4" libraryDependencies += "o

浏览 0提问于2019-06-24得票数 0

回答已采纳

1回答

弹性搜索慢性能的火花写入

apache-spark、elasticsearch、pyspark、elasticsearch-hadoop

我似乎遇到了一个问题，在这个问题中，Spark给Elasticsearch的写信非常慢，在进行初始连接时需要相当长的时间(大约15分钟)，在这个过程中，Spark和Elasticsearch都处于空闲状态，这是我从火花写到ES:的方式 vgDF.write.format("org.elasticsearch.spark.sql").mode('append').option("es.resource","demoind

浏览 0提问于2018-03-20得票数 3

回答已采纳

1回答

无法在Elasticsearch-hadoop中使用SchemaRDD.saveToES()从HDFS索引JSON

json、scala、elasticsearch、apache-spark、apache-spark-sql

这是我第一次真正尝试spark/scala，所以要温文尔雅。Elasticsearch-hadoop 2.1.0.BUILD-20150217{"key":

浏览 1提问于2015-02-20得票数 0

2回答

弹性搜索不能写入所有条目:可能es是重载的。

apache-spark、elasticsearch、apache-spark-sql、elasticsearch-spark

我有一个应用程序，在这个应用程序中，我读取csv文件并进行一些转换，然后将它们推送到火花本身的弹性搜索中。像这样 .mode(SaveMode.Append).option("es.resource", "{date}/" + type).save() 我有几个节点，在每个节点中，我运行5-6个spark-submit命令，这些

浏览 1提问于2018-03-20得票数 3

回答已采纳

点击加载更多