使用Spark截断Oracle表

文章/答案/技术大牛

发布

1回答

如何在pysark中执行SQL截断表

pyspark

我尝试使用以下代码使用pyspark截断Oracle表 .format("jdbc") \ .option("driver", "orac

浏览 0提问于2020-11-15得票数 0

1回答

oracle、apache-spark、jdbc、apache-spark-sql

我正在学习Spark，到目前为止还很棒。现在，我正在使用DF.write.mode(“append”).jdbc向Oracle中写入一些DFs 现在，我需要截断表，因为我不想追加。如果我使用“overwrite”模式，它将删除该表并创建一个新表，但我将不得不reGRANT用户才能访问它。不太好。我能用spark SQL在Oracle中做一些像截断这样的事情吗？公开征集建议！

浏览 27提问于2020-06-20得票数 3

1回答

spark Dataframe字符串到配置单元变量字符

apache-spark、hive、apache-spark-sql、spark-dataframe

我通过spark JDBC连接到DataFrame从Oracle读取数据。我有一个列，它显然是dataframe中的StringType。我知道字符串会被截断，但这没问题。val tv = df.createOrReplaceTempView("t_name") val df = spark.sql("selec

浏览 0提问于2018-04-23得票数 2

2回答

从星火看saveAsTable

apache-spark、hive、pyspark

我们试图从SPARK中写入一个蜂箱表，并且使用saveAsTable函数。我想知道saveAsTable是否每次掉落并重新创建蜂巢表？如果它这样做了，那么是否还有其他可能的火花函数实际上只会截断和加载一个表，而不是拖放和重新创建。

浏览 0提问于2018-07-17得票数 2

回答已采纳

1回答

如何使用spark* jdbc连接截断teradata中的表*

scala、apache-spark、apache-spark-sql、teradata

我想在使用spark和scala加载数据之前截断teradata表。我可以加载数据，但无法截断。请指点一下。

浏览 10提问于2020-04-02得票数 0

2回答

用Oracle表创建SparkSQL jdbc联邦失败时出现了奇怪的错误

oracle、apache-spark、hive、apache-spark-sql

我正在尝试创建hive表，它将指向oracle表，但是它在org.apache.spark.sql.AnalysisException中失败了。步骤：将oracle-db-connector.jar放在类路径中使用beeline连接到它USING org.apache.spark.sql.jdbc OPTI

浏览 5提问于2016-09-20得票数 0

回答已采纳

2回答

Dataframe to Oracle创建具有区分大小写列的表

apache-spark、apache-spark-sql

火花: 2.1.1 Select "col1" from

浏览 2提问于2017-06-07得票数 2

2回答

Oracle:截断是否在事务中保持原子性？

database、oracle、oracle11g、transactions、oracle10g

Oracle10g --由于与9i数据库的兼容性问题，我使用INSERT INTO...SELECT语句通过每15分钟运行一次的计划作业，通过10g数据库(将由11g数据库使用)从10g数据库中提取数据我对这些数据的使用纯粹是只读的--更新和插入从来不会针对这些表发出。鉴于以上所述，我希望避免出现这样的情况:我的“工作”数据库(Oracle11g)试图从临时数据库(10g)上的一个表中读取数据，该表在一段时间内是空的，因为截断立即发生

浏览 0提问于2015-05-22得票数 0

回答已采纳

2回答

使用jdbc从Redshift表中截断Spark* 2.0.0*

apache-spark、apache-spark-sql、amazon-redshift、databricks

你好，我正在使用Spark SQL(2.0.0)和Redshift，我想截断我的表。我正在使用这个包&我想知道如何截断我的table.Can谁能分享一下这个的例子?？

浏览 0提问于2016-12-05得票数 0

1回答

使用python截断数据库中的delta表

python、pyspark、databricks、delta-lake

delete操作被赋予和，而使用SQL截断则给出了。但是我找不到Python截断表的文档。如何对Databricks中的delta表执行此操作？

浏览 3提问于2021-05-13得票数 5

回答已采纳

1回答

使用覆盖模式向Teradata表写入DF的星星之火--尽管截断为真

apache-spark-sql、teradata、pyspark-sql

我正在尝试使用Spark将DF记录写入Teradata表。numPartitions", 3) \ .mode('overwrite')\总是删除该表并再次创建该表当它再次创建表时，它将表创建为SET表，而不是多集表。根据Spark文档，当我将t

浏览 1提问于2018-09-18得票数 0

1回答

从PySpark 3.1.2连接Oracle* DB -由于Py4JJavaError而失败*

oracle、jdbc、pyspark

我正在试用PySpark3.2.1和Oracle 11G。. at java.net.URLClassLoader$1.run(Unknownjava.security.AccessController.doPrivileged(Native Method) 我的代码： from pyspark.sql import SparkSession spark= SparkSession.builder.appNam

浏览 195提问于2021-08-19得票数 0

1回答

在PostgreSQL中截断小数点前的值

postgresql、oracle-fdw

我正在使用dblink将数据从Oracle表移动到Postgres，在Postgres的新表结构中，我为oracle中没有精度的数值列添加了精度，现在在移动数据时，我能够截断小数值以匹配小数位数，但是，如果小数点之前的值与精度不匹配，我正在努力寻找一种方法来截断该值。要调整比例，我使用以下命令：select id, width::numeric(7,3) from oracle

浏览 136提问于2019-07-08得票数 0

回答已采纳

1回答

Scala df迭代器上缺少参数类型

scala、dataframe、apache-spark、foreach、iterator

其目的是在Oracle表中插入DF。

浏览 23提问于2019-08-09得票数 0

回答已采纳

1回答

提交截断与行计数

plsql

我对SQL很陌生，我在一个表中有一百万行要删除。我编写了代码来提交事务(删除行)，每次计数达到50k并重新设置计数器。

浏览 0提问于2016-11-13得票数 0

1回答

通过spark截断BigQuery表

apache-spark、google-bigquery

有没有可能通过Spark/Scala程序截断谷歌BigQuery表？但是找不到任何方法来截断表。对此有什么见解吗？

浏览 0提问于2017-03-24得票数 1

2回答

带有外键的截断表

oracle、foreign-key、constraint

我必须截断一个表，这给了我以下的错误。 AND p.owner='SCHEMA_NAME'修改表schema.table_name现在我正在尝试启用约束，但是得到以下内容，所以我使用下

浏览 0提问于2018-09-27得票数 2

回答已采纳

1回答

使用Oracle* DATA_SOURCE创建表*

python、apache-spark、pyspark

我试图使用ORACLE作为数据源创建一个表，使用spark查询，但得到一个错误。%sql使用org.apache.spark.sql.jdbc选项创建表测试( url "jdbc:oracle:thin:@localhost.com:1560:SCOTT“、驱动程序"oracle.jdbc.driver.OracleDriver”、dbtable "SCOTT.EMP“、用户"

浏览 0提问于2022-01-26得票数 0

1回答

使用RJDBC删除oracle表

r、oracle、rjdbc

有没有办法使用oracle函数删除(截断)R中的表？我正在使用JDBC连接到oracle；我想截断内容，然后将新数据加载到表中。

浏览 0提问于2015-07-14得票数 0

1回答

在Spark满载或增量负载中哪个更好？

apache-spark-sql、pyspark-sql

在我的项目中，他们正在将所有Teradata查询转换为(Hive )Dataframes-pyspark/Spark。假设表A中有10000条记录每天我们只得到5到6个新的记录。目前，我们每天都在截断表A中的所有数据，并从表M中执行满载操作。表M包含一个update_timestamp列，因此增量加载是非常可能的，而且该表</em

浏览 1提问于2019-03-09得票数 0

回答已采纳

点击加载更多

如何在pysark中执行SQL截断表