当使用火花删除(或更新)和插入时,要么全部成功,要么全部失败。
我认为spark应用程序分布在许多JVM上,如何控制每个工作事务的同步?
// DELETE: BEGIN
Class.forName("com.oracle.jdbc.Driver");
conn = DriverManager.getConnection(DB_URL, USER, PASS);
String query = "delete from users where id = ?";
PreparedStatement preparedStmt = conn.prepareStatement(query);
preparedStmt.setInt(1, 3);
preparedStmt.execute();
// DELETE: END
val jdbcDF = spark
.read
.jdbc("DB_URL", "schema.tablename", connectionProperties)
.write
.format("jdbc")
.option("url", "DB_URL")
.option("dbtable", "schema.tablename")
.option("user", "username")
.option("password", "password")
.save()发布于 2017-04-19 09:36:38
;博士,你不能。
Spark是一种快速通用的大规模数据处理引擎 (即多线程分布式计算平台),它的主要卖点是,您可以而且肯定会同时执行多个同时运行的任务,以更快地(甚至更便宜)处理大量数据集。
JDBC不是非常适合Spark的数据源,因为您受到JDBC数据库容量的限制。这就是为什么许多人正从JDBC数据库迁移到HDFS或Cassandra或类似的数据存储,在这些存储中,数千个连接并不是什么问题(更不用说在Spark接触数据之前对数据集进行分区等其他好处了)。
您可以使用一些配置参数 (例如partitionColumn、lowerBound、upperBound、numPartitions、fetchsize、batchsize或isolationLevel)来控制JDBC,这给了您一定的灵活性,但希望“事务同步”不在Spark的范围之内。
直接使用JDBC (就像删除一样)。
注意,DELETE: BEGIN和DELETE: END之间的代码是在驱动程序上执行的(在一个线程上)。
https://stackoverflow.com/questions/43475707
复制相似问题