首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何使用jdbc数据源控制员工事务?

问如何使用jdbc数据源控制员工事务?
EN

Stack Overflow用户
提问于 2017-04-18 14:59:53
回答 1查看 5.5K关注 0票数 0

当使用火花删除(或更新)和插入时,要么全部成功,要么全部失败。

我认为spark应用程序分布在许多JVM上,如何控制每个工作事务的同步?

代码语言:javascript
复制
// DELETE: BEGIN
Class.forName("com.oracle.jdbc.Driver");
conn = DriverManager.getConnection(DB_URL, USER, PASS);
String query = "delete from users where id = ?";
PreparedStatement preparedStmt = conn.prepareStatement(query);
preparedStmt.setInt(1, 3);
preparedStmt.execute();
// DELETE: END

val jdbcDF = spark
  .read
  .jdbc("DB_URL", "schema.tablename", connectionProperties)
  .write
  .format("jdbc")
  .option("url", "DB_URL")
  .option("dbtable", "schema.tablename")
  .option("user", "username")
  .option("password", "password")
  .save()
EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-04-19 09:36:38

;博士,你不能。

Spark是一种快速通用的大规模数据处理引擎 (即多线程分布式计算平台),它的主要卖点是,您可以而且肯定会同时执行多个同时运行的任务,以更快地(甚至更便宜)处理大量数据集。

JDBC不是非常适合Spark的数据源,因为您受到JDBC数据库容量的限制。这就是为什么许多人正从JDBC数据库迁移到HDFS或Cassandra或类似的数据存储,在这些存储中,数千个连接并不是什么问题(更不用说在Spark接触数据之前对数据集进行分区等其他好处了)。

您可以使用一些配置参数 (例如partitionColumn、lowerBound、upperBound、numPartitions、fetchsize、batchsize或isolationLevel)来控制JDBC,这给了您一定的灵活性,但希望“事务同步”不在Spark的范围之内。

直接使用JDBC (就像删除一样)。

注意,DELETE: BEGIN和DELETE: END之间的代码是在驱动程序上执行的(在一个线程上)。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/43475707

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档