使用查询的Sqoop导出

文章/答案/技术大牛

发布

1回答

Sqoop大容量导出到Server

sqoop

我正在尝试将21046329行导出到Server，但它非常慢。我尝试使用大容量插入，但它不起作用。查看，我看到它每个stmt只插入1行，之后我查看了sqoop映射程序，并看到它生成如下的SQL查询sqoop

浏览 4提问于2020-01-10得票数 0

1回答

hadoop、sqoop、bigdata

我们正在尝试将数据从配置单元表导出到HANA，从而能够使用Sqoop export命令中的--hcatalog表选项导出数据。但是在尝试使用带有where子句的查询选项装载数据时会遇到问题sqoop export -D sqoop.export.records.pe

浏览 7提问于2017-08-02得票数 0

1回答

对MySQL的单元查询

mysql、hive、sqoop

我不需要整个表来导出，我需要向sqoop语句添加一个查询(select * from emp_data where dept = 'cse')，并且输出应该导出到MySql。sqoop export --connect jdbc:mysql://localhost/test --username root --password root --table emp_data

浏览 3提问于2014-12-21得票数 1

回答已采纳

2回答

Sqoop:如何添加额外的列以输出和替换空字符串？

hadoop、sqoop

我有一个SQL表，其列如下：如何使用Sqoop将此表导入HDFS上的CSV文件：约翰，史密斯,1234567岁如何将,,空字符串替换为undef字符串？拥有

浏览 1提问于2014-07-21得票数 1

回答已采纳

1回答

Sqoop作业永远使用Oozie运行

mysql、hadoop、scheduling、sqoop、oozie

我们有两个节点hadoop纱线集群，它是Hadoop2.2，我们使用oozie在一个工作流中调度了两个操作，第一个操作是python映射--还原流操作，第二个操作是sqoop导出作业，它实际上将映射的输出成功地执行流操作，这将导致sqoop作业的启动，而sqoop作业将永远运行。 2137 [main] WARN org.apache.sqoop.

浏览 1提问于2014-10-13得票数 0

4回答

Apache和Hive的区别。我们能一起用吗？

hadoop、hive、sqoop

我知道sqoop用于将数据从RDBMS导入/导出到HDFS，Hive是Hadoop之上的SQL层抽象。我可以使用Sqoop将数据导入HDFS，然后使用Hive查询吗？

浏览 10提问于2014-10-13得票数 4

回答已采纳

3回答

众所周知，hadoop使用MapReduce概念。但从逻辑上讲，不可能将数据库拆分为数据块。为此，我们有Apache，它将数据库表的内容导入到HDFS。我的问题是-和Hadoop一起使用sqoop真的有那么多好处吗？如果是的话，谁能用一个实时的例子来解释我呢?在这个例子中，hadoop已经实现了，可以在数据库上使用MapReduce吗？如果我知道MapReduce是如何在数据库相关处理中实现的，那就太好了。提前谢谢。

浏览 5提问于2014-02-27得票数 1

回答已采纳

2回答

如何在MapReduce作业中输出数据以便Sqoop导出？

hadoop、mapreduce、sqoop

我读过很多关于使用Sqoop从SQL导入的文章，但导出方面只有一些花边新闻，示例总是假设您出于某种原因导出导入的/预先格式化的数据，或者使用Hive。如何从MapReduce作业中将数据写入Sqoop可以读取和导出的HDFS？向我展示了支持的文件格式。我想我可以使用文本/CSV，但我如何在MapReduce中到达那里？，它说只修改TextOu

浏览 0提问于2016-01-27得票数 0

2回答

使用配置单元查询从Sqoop到MySQL

mysql、hadoop、hive、bigdata、sqoop

我想将数据从配置单元表中sqoop到MySQL表中。两者具有相同的列集，但它们的顺序不同。有没有办法使用Hive查询将数据sqoop到mysql表中，该查询的列顺序属于mysql表？

浏览 1提问于2012-08-20得票数 1

0回答

Sqoop导出成功，但目标postgres表为空

postgresql、sqoop

我正在尝试将表从hdfs导出到postgres，下面是我用于导出的查询：sqoop查询完成，并显

浏览 1提问于2017-01-11得票数 0

1回答

SQOOP是否支持将CLOB/BLOB数据导出回ORACLE / SQL Server

oracle11g、export、hdfs、sqoop、clob

我是SQOOP 1.4.5的新手。我已经看过了sqoop文档。我已经成功地将简单数据类型的记录导入hdfs和从hdfs导出。但是，当我尝试使用以下命令将此数据

浏览 1提问于2015-11-20得票数 3

2回答

使用Sqoop连接Hive和Oracle数据库

hadoop、cloudera、sqoop

是否可以使用Sqoop将数据从配置单元导出到Oracle DB以用于报告目的，因为我不想在客户端应用程序中进行任何更改。致敬，Bhagwant Bhobe

浏览 1提问于2013-12-17得票数 1

1回答

输出蜂巢数据增量

hive、sqoop

我们需要增量地运行HiveQL并将结果导出到avro中的一个文件中，并且需要导出记录。下面是我所看到的两种方式，以及我在使用它们时所看到的挑战。选项1:使用Pig和customer加载程序: a.编写一个自定义的猪加载程序，该加载程序运行蜂箱查询incemental。编写一个猪流，并创建一个与蜂箱装载机结果的关系。SQOOP导出--我无法以增量方式找到导出单元<

浏览 0提问于2015-12-12得票数 0

回答已采纳

4回答

可以使用Sqoop对导入执行联接吗？

apache-spark、hadoop、import、bigdata、sqoop

我最近被问到这个问题，在这里我描述了一个涉及多个连接的用例，除了我在Spark中实现的一些处理之外，问题是，在使用Sqoop将数据导入到HDFS时，联接是否还没有完成？我想从体系结构的角度来理解在Sqoop中实现联接是否明智，即使可能的话。

浏览 0提问于2019-02-25得票数 2

回答已采纳

1回答

MySQL中的单元外部表

mysql、hadoop、hive、hiveql

目前，我正在执行以下步骤(hadoop 1.1.2、Hive 0.11和Sqoop-1.4.3.bin__hadoop-1.0.0)：我想知道是否可以将步骤2和步骤3--直接写入MySQL数据库的Hive查询的输出--结合起来。线程谈到JDBC，但找不到同样

浏览 1提问于2013-07-18得票数 1

1回答

如何Sqoop导入表格table1，table2，table3？

hadoop、hdfs、sqoop、bigdata

一位雇主询问如何在单个数据库和多个数据库中导入表1和表2、表3？

浏览 0提问于2017-03-23得票数 0

3回答

Sqoop导出可以创建一个新表吗？

export、hdfs、rdbms、sqoop

可以使用Sqoop将数据从HDFS导出到RDBMS表。但似乎我们需要现有的桌子。是否有一些参数可以告诉Sqoop做‘创建表’的事情，并将数据导出到这个新装箱的表？

浏览 5提问于2013-04-15得票数 10

回答已采纳

2回答

Pig和HCatalog

java、hadoop、jar、apache-pig、hcatalog

当我运行"pig“时，我得到了以下错误。0/9/1/jar:/usr/lib/hive/lib/hive-exec-0/12/0/2/0/6/0-76/jar:/usr/lib/hive/lib/libfb303-Caused

浏览 2提问于2013-12-11得票数 0

2回答

Oracle Hadoop连接器诉Sqoop

hadoop、jdbc、sqoop

我使用了Sqoop来摄取从Oracle到Hadoop的数据，它运行得很好。只需4分钟就能将8600万条记录从Oracle带到Hive表，而无需使用Sqoop上的分区。谁能给出一些关于Oracle Hadoop连接器的细节，它的性能会比Sqoop更好吗？

浏览 4提问于2016-10-25得票数 2

回答已采纳

2回答

如何创建从hive表到关系数据库的数据管道

hadoop、hive、pipeline、sqoop、oozie

背景：我有一个包含日志信息的配置单表" log“。该表每小时加载一次新的日志数据。我想对过去两天的日志做一些快速分析，所以我想将过去48小时的数据提取到我的关系数据库中。为了解决上述问题，我创建了一个由hive SQL查询加载的staging HIVE表。将新数据加载到临时表中之后，我使用sqoop查询将新日志加载到关系数据库中。问题是sqoop正在将数据批量加载到关系数据库中。因此，在

浏览 3提问于2013-02-21得票数 0

回答已采纳

点击加载更多

Sqoop大容量导出到Server