Spark Scala将数据帧写入MongoDB

文章/答案/技术大牛

发布

1回答

mongodb、scala、apache-spark、apache-spark-sql

我正尝试以此为指导将转换后的数据框写入MongoDB https://docs.mongodb.com/spark-connector/master/scala/streaming/ 到目前为止，我从MongoDB读取数据帧工作得很好。blog.articles"))) 但是，将此数据帧写入</

浏览 43提问于2020-08-09得票数 0

回答已采纳

1回答

将星火流数据流加载到MongoDB中

mongodb、apache-spark、pyspark、spark-structured-streaming

然后我使用卡夫卡消费者的Twitter Stream作为数据源，我在星火(PySpark)中创建了一个“流数据框架”，进行了实时的预处理和情感分析，由此产生的“流数据框架”需要进入MongoDB，这就是问题所在我能够将“静态”PySpark数据帧写入MongoDB，但不能编写流数据帧。").getOrCreate()df =

浏览 19提问于2022-11-21得票数 0

1回答

避免从火花流到mongoDB的多个连接

mongodb、scala、apache-spark、spark-streaming

我们开发了一个spark流媒体应用程序，它从kafka中获取数据并写入mongoDB。在输入DStream的foreachRDD中创建连接时，我们注意到了性能方面的问题。以下是spark streaming应用程序的简化版本。我们做的其中一件事是将所有消息附加到一个数据帧中，并尝试将该数据帧的内容插入到foreachRDD之外。但是当我们运行这个应用程序时，将数据帧</em

浏览 3提问于2017-08-02得票数 0

1回答

未能找到数据源: com.stratio.datasource.mongodb

apache-spark、pyspark

当我尝试使用：“.bin/spark submit-packages com.stratio.datasource:spark-mongodb_2.11:0.12.0”时“./bin/火星-提交-jars /home/user/Spark-MongoDB/spark-mongodb_2.11/target/spark-mongodb_2.1

浏览 2提问于2016-09-12得票数 0

回答已采纳

2回答

我正在尝试从MongoDB读取一个庞大的复杂文档到spark数据框架中。当我将这个数据库转换成json时，它就能工作了。但是，如果我直接从com.mongodb.spark.exceptions.MongoTypeConversionException:中读取，则会得到以下错误:由: MongoDB引起的不能将字符串转换为当我试图显示或写入json/csv时会出错。mongo$.main(mongo.scala</e

浏览 1提问于2018-04-03得票数 1

1回答

如何将字符串值写入MongoDB* ObjectId中？*

java、mongodb、apache-spark、objectid

我想以ObjectId的形式将字符串值写到MongoDB中。 return new com.mongodb.spark.sql.fieldTypes.api.java.ObjectIdCaused by: scala.MatchError: com.mongodb.spark.sql.fieldTypes.

浏览 10提问于2021-10-29得票数 1

1回答

使用hive优化hive数据聚合

apache-spark、optimization、hive、distributed-computing、bigdata

我有一个带有followig模式(event_id，country，unit_id，date)的hive表(8,000,000条记录)，我需要将这些数据导出到一个文本文件中，满足以下要求:1- event_id使用spark完成这项工作的最佳性能明智解决方案是什么？注意:这应该是一个批处理作业。

浏览 6提问于2017-05-05得票数 0

1回答

MongoDB火花连接器py4j.protocol.Py4JJavaError:调用o50.load时出错

python、mongodb、apache-spark

我以前已经能够加载这个MongoDB数据库，但现在收到一个我无法确定的错误。下面是我尝试将数据库加载到dataframe中方法：但是，在该行上$spark$sql$MongoInferSchema$$compatibleType(MongoInferSchema.scala:1

浏览 12提问于2017-08-16得票数 3

回答已采纳

1回答

将JSON数据写入MongoDB本地时出现Spark作业错误

mongodb、scala、apache-spark

我正在尝试一个简单的程序来读取JSON文件并写入MongoDB本地实例，我安装了MongoDBimport com.mongodb.spark.MongoSpark .config("spark.mongodb.

浏览 11提问于2019-11-15得票数 1

2回答

为什么使用AbstractMethodError时MongoDB火花连接器会失败？

mongodb、apache-spark、apache-spark-sql

我正尝试在一个远程mongodb集合中插入一个spark sql数据帧。以前，我用MongoClient编写了一个java程序来检查远程收集是否可访问，并且我成功地做到了这一点。scala> depts.write.options(scala.collection.Map("uri" -> "mongodb://<username>:<pwd>@<hostname>:270

浏览 1提问于2016-08-10得票数 3

1回答

MongoDB中的读写配置设置管理

mongodb、scala、apache-spark、apache-spark-sql

": "mongodb://127.0.0.1/test.myCollection", "spark_mongodb_pass":"", "spark_mongodb_input_database": "test&qu

浏览 5提问于2020-06-11得票数 2

1回答

Hbase-cloudera中的Spark连接器问题: java.lang.AbstractMethodError

apache-spark-sql

我正在尝试将Spark数据帧写入Hbase，但当我在同一数据帧上执行任何操作或写入/保存方法时，它会给出以下异常： { at(HBaseTableScan.scala:60) at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala</

浏览 11提问于2019-02-21得票数 1

1回答

将BsonDocument写入MongoDB Spark Scala

mongodb、scala、apache-spark

我想将数据保存到MongoDB中，同时从推特上流式传输数据。当我尝试将一系列文档写入MongoDB时，我得到了这样一个异常：java.lang.IllegalArgumentException: clusterListener can not be null 我使用的是Spark MongoDB连接器，所以下面是我的build.sbt

浏览 2提问于2018-05-27得票数 0

3回答

将PySpark数据写入MongoDB插入字段作为ObjectId

python、mongodb、pyspark

我试图向MongoDB写入一个Spark，它包含一个ObjectId的字符串表示形式，它是另一个集合的_id。关键是，PySpark不支持ObjectId (Scala和Java ObjectId支持在这里解释：)，所以，如何使用Spark从PySpark将ObjectId插入MongoDB？

浏览 3提问于2017-11-23得票数 3

回答已采纳

2回答

MongoTypeConversionException:即使显式架构不包含NullTypes，也无法使用Mongo Spark* Connector将字符串强制转换为NullType*

mongodb、scala、apache-spark、apache-spark-sql

我正在将一个集合从MongodB导入到Spark。val partitionDF = spark.read.format("com.mongodb.spark.sql.DefaultSource").option("database", "db").option根据Writing null values to Parquet in Spark when the NullType is inside a Stru

浏览 161提问于2021-08-12得票数 1

1回答

写入Parquet/Kafka:线程"dag-scheduler-event-loop“java.lang.OutOfMemoryError异常

scala、out-of-memory、spark-dataframe、apache-spark-mllib、cloudera-cdh

我正在尝试修复在我的spark设置中看到的一个外存问题，在这一点上，我无法得出一个具体的分析，为什么我会看到这个。在将数据帧写到parquet或kafka时，我总是会遇到这个问题。我的数据帧有5000行。我的数据帧总大小约为10 My，划分为12个分区。在写入之前，我尝试使用repartition()创建48个分区，但即使我在没有重新分区的情况下写入，也会看到这个问题。spark版本是2.1.0.c

浏览 0提问于2017-09-14得票数 0

1回答

将数据帧写入csv和parquet时出现SparkR错误

rstudio、sparkr

我在将spark数据帧写入csv和parquet时出错。我已经尝试安装winutil，但是仍然不能解决这个错误。dataset$imei),FALSE,TRUE))为了导出数据帧(FileFormatWriter.scala:215) at org.apache.spark.sql.e

浏览 0提问于2017-09-23得票数 0

1回答

MongoDb -火花-不能将字符串转换为NullType (值: BsonString{value='4492148'})

java、apache-spark、hadoop、apache-spark-sql

我正在尝试从MongoDb提取数据到我的DF。$.com$mongodb$spark$sql$MapFunctions$$convertToDataType(MapFunctions.scala:80) at com.mongodb.spark.sql.MapFu

浏览 5提问于2020-07-15得票数 2

1回答

如何从数据库集群连接mongodb地图集

mongodb、apache-spark、pyspark、jupyter-notebook、databricks-community-edition

如何从数据库集群连接mongodb地图集from pyspark.sql import SparkSession .builder\ .config("spark.mongodb.input.uri", "mongodb+srv://admin:<password>@mo

浏览 3提问于2021-10-06得票数 0

1回答

火花Mongodb: Error - java.lang.NoClassDefFoundError: com/mongodb/MongoDriverInformation

mongodb、scala、apache-spark

我正在使用spark使用蒙戈火花连接器读写数据到MongoDB，而我正面临以下错误，除了放置所需的罐子如下，谁能找到问题，并帮助我！(DefaultMongoClientFactory.scala:49) at com.mongodb.spark.MongoCo

浏览 12提问于2019-10-14得票数 1

点击加载更多