导入mysql数据库到hdfs - 腾讯云开发者社区

文章/答案/技术大牛

发布

3回答

sqoop与hdfs命令

mysql、hadoop、hdfs、sqoop

据我所知，Sqoop命令用于将数据从MySql等数据库导入到HDFS，反之亦然；HDFs命令用于处理HDFS中的数据，例如从HDFS获取数据到本地文件系统，反之亦然。我们不能使用sqoop命令来处理HDFS中的数据-从本地文件系统获取数据到hdfs，反之亦然。请告诉我Sqoop和HDFS命令之间的确切区别。为什么我们有两个不同的东西。

浏览 0提问于2017-01-29得票数 0

2回答

使用Sqoop将数据加载到HDFS

hdfs、sqoop、webhdfs、sqoop2

我正在寻找将数据移动到HDFS系统的方法，想知道Apache Sqoop是否可以用于从外部REST服务中提取数据？

浏览 2提问于2014-10-01得票数 1

1回答

是否可以使用sqoop或flume将数据从from服务器导入到MYSQL？

mysql、sqoop、flume

我需要将数据从need服务器导入到MYSQL数据库。我想知道它是否可行的sqoop或水槽！我读到，如果源或接收器都在HDFS中，那么导入和导出数据是可能的，但我想知道是否有可能将数据导入MYSQL，因为源和接收器都不是hdfs？有人能用这个引导我吗..。提前感谢

浏览 6提问于2014-01-27得票数 0

回答已采纳

1回答

如何跨多个数据库查询数据？

mysql、sql-server、hadoop、hbase

我有几个sqlserver和mysql数据库，它们之间不可能连接两个或多个表。但我不确定Hbase是否适合这种情况，因为我必须根据许多条件过滤行。有人对此有什么建议吗？

浏览 4提问于2015-11-30得票数 1

回答已采纳

5回答

如何通过sqoop将表从sql server导入到hdfs

hadoop、hive、sqoop

我将表从我的数据库导入到hdfs，但无法将其导入到配置单元。我需要在配置单元中配置任何文件吗？同样，当我浏览网页时，显示的是MySQL的配置，但我使用的是驱动程序jdbc:sqlserver。

浏览 2提问于2012-08-01得票数 2

2回答

关于蜂巢的问题

hadoop、hive、hdfs、sqoop

我有这样的环境：我是否必须将数据加载到H

浏览 3提问于2017-02-15得票数 0

回答已采纳

1回答

使用Apache Sqoop将数据从MySQL导入MySQL

java、mysql、sqoop

我想知道Apache Sqoop是否为我们提供了将数据从MySQL导入MySQL的选项？

浏览 1提问于2016-11-08得票数 0

1回答

我希望使用sqoop将所有表从mysql导入到自定义数据库(而不是Hive默认数据库)。在CDH5.7VM上使用下面的命令和选项"--hive-database“选项： sqoop导入-所有表--连接"jdbc:mysql://quickstart.cloudera:3306/retail_db“--用户名retail_dba --密码cloudera --hive-数据库”/user

浏览 5提问于2016-08-30得票数 0

1回答

如何将数据从.sql.bz2文件导入hdfs？

mysql、hadoop、hdfs、sqoop

我是Hadoop和hdfs的新手，我有一个压缩的SQL文件：我无法访问导出此文件的数据库。我需要将这些数据导入到Hadoop的hdfs文件系统中。有没有办法直接做到这一点，而不必将文件导入到另一个MySQL数据库，然后使用进行连接？

浏览 2提问于2016-10-25得票数 0

1回答

将HDFS数据文件导入mysql

mysql、hadoop、mysqlimport

我正在尝试将一个大型HDFS文件导入到mysql数据库中。文件中的数据由“^A”分隔。如何告诉mysql用ctrl-A分隔每一列？另外，我是否可以指定要导入的字段。

浏览 0提问于2013-02-07得票数 1

回答已采纳

2回答

Sqoop -在导入到HDFS之前操作Mysql表

mysql、hadoop、sqoop

在导入到HDFS之前，我们是否可以通过在MYSQL中选择特定的列或其他条件来编辑该表，以将其另存为MYSQL数据库中的新表？

浏览 19提问于2018-01-24得票数 1

1回答

hadoop架构查询示例

hadoop、hdfs、sqoop

我的问题是，因为这是我第一次使用hadoop，我的计划是将数据从sql数据库传输到hadoop，所以这是否意味着我必须在datanode上安装mysql，而我将使用sqoop和其他东西?

浏览 0提问于2015-12-02得票数 0

2回答

Sqoop导入查询从表中传输1000条随机记录？

hadoop、import、sqoop

我有一个大约有100000条记录的表，并希望从该表中导入1,000条随机记录sqoop import \ --connect jdbc:mysql://localhost:3306/

浏览 0提问于2018-06-24得票数 0

4回答

Apache和Hive的区别。我们能一起用吗？

hadoop、hive、sqoop

我知道sqoop用于将数据从RDBMS导入/导出到HDFS，Hive是Hadoop之上的SQL层抽象。我可以使用Sqoop将数据导入HDFS，然后使用Hive查询吗？

浏览 10提问于2014-10-13得票数 4

回答已采纳

3回答

Hadoop是否从其连接的数据源复制数据？

database、hadoop、bigdata、mangodb

当Hadoop连接到MangoDB或MySQL等数据源时，它是将数据从这些源复制到Hadoop文件系统中，还是简单地处理远程数据？我的期望是Hadoop会将这些数据复制到它自己的文件系统中；否则，在我看来，Hadoop的所有优势都会消失，因为Hadoop将数据分成不同数据节点上的块。我说的对吗？谢谢

浏览 6提问于2015-01-27得票数 1

4回答

如何将Hadoop与Mysql集成

java、mysql、hadoop

但是现在我需要在Hadoop、HDFS和Mysql数据库之间传输数据。我试着遵循代码，但没有得到正确的结果。

浏览 3提问于2014-01-27得票数 1

回答已采纳

2回答

如何使用Sqoop将数据从关系数据库导入沙箱Hive？

sql-server、hadoop、hive、sandbox、sqoop

如何使用Sqoop将数据从关系数据库导入到沙箱中的配置单元。我已经在我的电脑上安装了Horton Works沙箱。Nw我想知道这个迁移。3中，是否可以完全(或仅在时间表中)迁移数据库? 4，存储过程和Viwes如何保存所有这些内容？

浏览 0提问于2013-06-12得票数 3

回答已采纳

3回答

将数据从MySql导入HDFS的最佳方法

java、sql、hadoop、mapreduce

我需要知道是否有任何方法从mysql导入数据到HDFS，有一些条件我需要提及。我需要知道将mysql数据导入HDFS并实时更新的最佳方法。

浏览 9提问于2011-12-28得票数 0

1回答

hdfs和hive有什么关系？

hadoop、hive

我有psudeo分布式hadoop环境，并使用sqoop和hive进行数据导入和分析。我使用sqoop将数据从mysql导入到蜂箱中，它起作用了，我在我的蜂巢位置(也就是/user/hive/warehouse/ )获得了数据，我可以在hive表中看到数据。我的怀疑是：为什么它要在我的hdfs中创建/

浏览 5提问于2017-01-11得票数 0

2回答