腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
文章
问答
(9999+)
视频
沙龙
1
回答
Elasticsearch
Spark
,
如何
多次
查询
?
apache-spark
、
elasticsearch
、
pyspark
、
elasticsearch-hadoop
我想使用
查询
dsl来准备初始数据帧。 我使用conf.set("es.query", dsl_query)实现这一点。(https://www.elastic.co/guide/en/
elasticsearch
/hadoop/current/configuration.html#_querying) 但是,我想要应用不同的
查询
来准备另一个数据帧
浏览 14
提问于2019-02-13
得票数 0
回答已采纳
1
回答
spark
rdd中的
elasticsearch
查询
apache-spark
、
elasticsearch
我需要通过一些条件来获取
elasticsearch
文档数。下面是我正在考虑的代码。
浏览 0
提问于2019-04-29
得票数 0
1
回答
从
spark
查询
弹性搜索大索引
scala
、
apache-spark
、
elasticsearch
、
apache-spark-sql
)我通过手动过滤(按压)数据来修正这个问题,从而减少了向
Elasticsearch
请求的数据量。我使用时间戳来限制
查询
的响应。为了能够读取整个索引,我不得不
多次
查询
Elasticsearch
。基本上,我手工做了切片卷轴。正
浏览 0
提问于2017-11-23
得票数 1
1
回答
sparkR 1.4.0 :
如何
包含jars
elasticsearch
、
apache-spark
、
sparkr
、
elasticsearch-hadoop
我正在尝试使用
elasticsearch
-hadoop-2.1.0.rc1.jar jar文件(找到)将SparkR 1.4.0连接到
Elasticsearch
。SparkR:::callJStatic('java.lang.Class', 'org.
elasticsearch
.hadoop.mr.LinkedMapWritable')java.lang.Cl
浏览 0
提问于2015-06-26
得票数 0
3
回答
如何
使用Pyspark和Dataframes
查询
Elasticsearch
索引
elasticsearch
、
dataframe
、
pyspark
Elasticsaerch的文档只涵盖了加载到
Spark
的完整索引。from pyspark.sql import SQLContextdf = sqlContext.read.format("org.
elasticsearch
.
spark
.sql").load("index/type")
如何
执行
查询
以从
Elasticsearch
索引返回数据,并
浏览 0
提问于2016-07-03
得票数 11
1
回答
使用pyspark
查询
Elasticsearch
索引:
如何
指定es.nodes?
python
、
elasticsearch
、
pyspark
我正在尝试用pyspark
查询
一个
Elasticsearch
索引,但没有成功:在ipython中,
spark
版本2.0.1:我得到以下错误: Py4JJavaError: An error occurred while calling z:org.apache.
spark<
浏览 2
提问于2017-01-23
得票数 0
1
回答
Spark
Jobs错误为:太多元素无法创建电源集34
hadoop
、
apache-spark
、
elasticsearch
、
scalability
我尝试在mesos集群中运行
spark
作业来
查询
弹性数据,使用的esJsonRDD
查询
类似于:,并且对于少于32个节点的多节点弹性集群运行良好。以下是我当前
Spark
Job的gradle依赖项。compile group: 'org.
elasticsearch
', name: '
elasticsearch
-
spark
_2.11', version: '2.4.5' compile group:'or
浏览 18
提问于2017-07-20
得票数 1
3
回答
如何
对
ElasticSearch
(使用org.
elasticsearch
.
spark
.sql格式)执行SQL
查询
?
elasticsearch
、
apache-spark
使用
Spark
1.6.0和ES 5.0.0-alpha5,我尝试在
Spark
中获取一些数据帧。我正在使用这个包使用 sqlContext.read.format("org.
elasticsearch
.
spark
.sql").option("es.nodes", "my_host&
浏览 6
提问于2016-10-10
得票数 8
1
回答
是否为不同
查询
创建新的SparkSession?
python
、
apache-spark
、
elasticsearch
、
pyspark
、
elasticsearch-hadoop
我想从
elasticsearch
获取两个数据 ).format("org.
elasticsearch
.
spark
.sql").load() df.show() // empty", "/usr/local/
elasticsearch
-hadoop/dist/<e
浏览 9
提问于2019-08-21
得票数 0
回答已采纳
1
回答
如何
将AWS Cloudwatch日志插入数据库?
amazon-web-services
、
amazon-dynamodb
、
aws-api-gateway
、
amazon-cloudwatch
、
amazon-cloudwatchlogs
这样我就可以
查询
那个数据库,看看API网关中访问了哪些方法,以及何时访问它,并且需要在一个角度应用程序中显示它。 我做了同样的研究却一无所获。请建议
如何
将API网关日志插入数据库。提前感谢
浏览 0
提问于2019-01-03
得票数 0
1
回答
用于指定激发-shell
查询
文件的语法(使用
elasticsearch
-火花连接器)
apache-spark
、
elasticsearch
对于shell命令,我想为
spark
.es.query参数指定一个文件: --jars ~/
spark
/jars/
elasticsearch
-
spark
-20_2.11-5.1.2.jar --conf
spark
.es.nodes="localhost" --conf
spar
浏览 16
提问于2017-02-04
得票数 1
回答已采纳
1
回答
正在尝试从
spark
读取弹性搜索,正在获取“验证失败: 1:未指定滚动ids”
elasticsearch
、
apache-spark
我正在尝试通过
spark
-shell (
Spark
version 1.5.2)读取通过
spark
数据帧的弹性搜索索引。我不明白scoll-id是什么,也不知道我需要做什么才能从
spark
中
查询
弹性搜索。
spark
-shell --jars /transfer/hdp/lib/
elasticsearch
-
spark
_2.10-2.3.2.jar import org.apache.
spark
.S
浏览 0
提问于2016-06-21
得票数 0
1
回答
java.lang.IllegalArgumentException:未能解析
查询
:{“
查询
”:
scala
、
apache-spark
、
elasticsearch
我试图在
Spark
2.2和Scala2.11.8中执行
Elasticsearch
查询
。
Elasticsearch
的版本为2.4.4,而我使用的Kibana版本为4.6.4。这是我在星火中使用的图书馆: <groupId>org.
elasticsearch
</groupId> java.la
浏览 0
提问于2018-01-22
得票数 0
回答已采纳
3
回答
将
Spark
2.X连接到
ElasticSearch
2.X
hadoop
、
elasticsearch
、
apache-spark
、
elasticsearch-2.0
我正在使用
Spark
和
ElasticSearch
,但是我不知道
如何
在
ElasticSearch
2.x中使用
Spark
2.X。
ElasticSearch
Spark
libs只支持ES2.x的
Spark
1.6,支持ES5.alpha的
Spark
2。你用什么将
Spark
连接到
ElasticSearch
?
浏览 0
提问于2016-09-20
得票数 1
0
回答
连接
Spark
和
elasticsearch
apache-spark
、
elasticsearch
我正在尝试运行
Spark
的一个简单代码,它将RDD的内容复制到一个弹性搜索文档中。
spark
和elastic search都安装在我的本地机器上。import org.
elasticsearch
.
spark
.sql._ INFO HttpMethodDirector: I/O exception (java.net.ConnectExcep
浏览 27
提问于2017-12-05
得票数 1
1
回答
在hadoop上安装和配置
elasticsearch
hadoop
、
elasticsearch
、
apache-spark
我分别使用
elasticsearch
和
spark
/hadoop;具体而言,我使用的是cloudera和
elasticsearch
,它们运行在其他linux机器上。indexname + "/" + typename, Map( "es.nodes" -> ES_HOSTN_ODE_ADDRESS, "es.port" -> ES_HOST_PORT)) (3)
如何
为使用
spark
上的scala,我可以从
el
浏览 3
提问于2016-03-09
得票数 2
4
回答
Pyspark集成到Pycharm中
pycharm
、
pyspark
、
elasticsearch
我不知道
如何
配置Pycharm,这样我就可以直接在Pyspark中运行脚本。我在
Elasticsearch
集群上使用Pyspark,并使用以下代码来运行脚本。", valueClass="org.
elasticsearch
.hadoop.mr.LinkedMapWritable", keyClass="org.apache.hadoop
浏览 1
提问于2015-07-22
得票数 3
1
回答
使用火花中的弹性搜索火花读取数据时
如何
转换类型
scala
、
apache-spark
、
elasticsearch
、
elasticsearch-spark
当我尝试使用esRDD("index")函数读取
elasticsearch
中的数据时,我得到了org.apache.
spark
.rdd.RDD[(String, scala.collection.Map然而,我在上看到,上面写着: scalaVersion := "2.11.8" libraryDependencies += "org.ap
浏览 4
提问于2017-07-06
得票数 3
回答已采纳
1
回答
我可以在星火图方法中
查询
elasticsearch
吗?
python
、
elasticsearch
、
pyspark
我可以通过这样的火花
查询
elasticsearch
: "es" **{ 'es.resource': index_name, 'es.nodes':
e
浏览 2
提问于2022-11-17
得票数 0
1
回答
如何
在
spark
数据帧中显示
elasticsearch
查询
结果
python
、
elasticsearch
、
pyspark
我用python编写的
elasticsearch
查询
指定我只想保存
spark
dataframe中的选定字段,但是我在dataframe中得到的是所有字段。resolution.keyword": "1920x1080" } } }}""" inputFormatClass="org.
elasticsearch
.hadoop.mr.EsInputForm
浏览 3
提问于2019-07-25
得票数 0
点击加载更多
相关
资讯
php如何使用ElasticSearch做查询
Elasticsearch 查询语言是什么?
快递查询 物流批量查询如何分析多次揽收件一键搞定
Elasticsearch查询速度为什么这么快?
Spark之搜狗日志查询实战
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券