2回答
将sqoop增量导入到单元表
hive、sqoop、oozie
我正在尝试对hive表执行sqoop增量导入(lastmodified)。它在sqoop 1.4.5中工作，但在sqoop 1.4.6中不工作。:2011年11月13日17:57:58 +0530 2017 --incremental lastmodified option for hive
浏览 3提问于2017-11-13得票数 2
回答已采纳
1回答
hdfs和hive有什么关系？
hadoop、hive
我有psudeo分布式hadoop环境，并使用sqoop和hive进行数据导入和分析。我使用sqoop将数据从mysql导入到蜂箱中，它起作用了，我在我的蜂巢位置(也就是/user/hive/warehouse/ )获得了数据，我可以在hive表中看到数据。我的怀疑是：
为什么它要在我的hdfs
浏览 5提问于2017-01-11得票数 0
1回答
如何将更新的记录以及从RDBMS表到Hive表的增量导入？
shell、hadoop、hive、sqoop
我使用Sqoop增量导入，每天将数据输入到我的hive表中。Hive中，使用Sqoop增量导入，通过cron作业将数据导入到shell脚本来完成工作。DATE=$(date +"%d-%m-%y")sqoop import --connect jdbc:mysql</home/cloud
浏览 2提问于2017-04-17得票数 1
回答已采纳
1回答
增量附加到文件
hive、hdfs、increment、sqoop
我在MySQL中有表，我想使用sqoop导入数据。我导入了数据并以file的形式存储在file中。现在，我想在hdfs中对这个文件运行增量更新。I am talking about files not Hive tables。
我希望增量数据作为单独的文件，而不是合并的文件。我的意思是，我们可以对文件进行增量更新吗？
浏览 3提问于2017-03-17得票数 0
回答已采纳
1回答
Sqoop增量加载到分区的hive表
hadoop、hive、sqoop、apache-hive
如何将增量数据加载到已分区的配置单元表中id bigint,created_on string(yyyy-MM-dd),我已经创建了一个sqoop作业，根据上次修改日期以增量方式导入
sqoop job --create users -- import --connect jdbc:mysql://<ip>/produ
浏览 5提问于2016-11-18得票数 0
1回答
Sqoop增量导入后配置单元表已过期
hive、hdfs、sqoop
我正在尝试使用"--incremental append“对Hive表执行Sqoop增量导入。
我执行了一个初始sqoop导入，然后为增量导入创建了一个作业。这两个文件都已成功执行，并且已将新文件添加到HDFS中相同的原始配置单元表目录中，但当我检查我的配置单元表时，导入的观察值不在那里。在sqoop增量导入之前，Hive表是相等的。我有大约45个Hive表，并希望在Sqoop增量
浏览 0提问于2018-11-13得票数 1
2回答
Sqoop:增量导入问题
mysql、hadoop、sqoop
我有一个需求，我需要从mysql导入一个表，以增量的方式存储，并且在这样做时会遇到问题。这就是我迄今尝试过的：
--hive-import--direct --check-columnlast_modified_time 第一次执行:按预期导入所有内容，
浏览 5提问于2014-07-17得票数 1
3回答
如何使用Sqoop从MySQL增量导入到配置单元？
mysql、hadoop、hive、sqoop
我可以使用Sqoop成功地执行从MySQL到HDFS的增量导入，方法是这是一个bug吗？预期的行为？有没有人有从MySQL增量导入数据并通过配置单元提供数据的过程？
我基本上希望我的Hadoop集群成为我的MySQL数据库的读从服务
浏览 0提问于2012-12-28得票数 2
1回答
通过oozie从sqoop作业的增量导入不会更新sqoop的元存储中的incremental.last.value
hadoop、sqoop、oozie、hortonworks-data-platform
尝试通过创建sqoop job从mysql到hive进行增量导入，它在命令行中工作得很好，但当我尝试使用oozie执行同样的操作时，它不会更新sqoop的metastore中的incremental.last.value
浏览 4提问于2017-04-28得票数 0
4回答
如何在SQOOP中自动执行增量导入？
hadoop、mapreduce、sqoop
我们如何在SQoop中自动执行增量导入？在增量导入中，我们需要给--last-value从最后一个值开始导入，但我的工作是频繁地从关系型数据库导入，我不想手动给出最后一个值，有没有什么方法可以自动化这个过程？
浏览 4提问于2016-01-14得票数 4
1回答
是否有其他方法使这个(增量的最后一个修改的)与--胞-导入一起工作？
hadoop、hive、sqoop、data-warehouse、pgadmin
我正在尝试为hive中的增量导入创建sqoop作业。创建jdbc:hsqldb:hsql://192.168.225.129:16000/sqoop \ jdbc:postgresql://192.168.148.1:5432/movielens -导入-连接-用户名anm \-表分级-m 8-目标-dir/user/hive//user_-增量修改-字段-终止-by '，‘
产
浏览 4提问于2019-12-04得票数 0
0回答
使用sqoop增量更新来更新Hive表
mysql、hadoop、hive、sqoop
我正在尝试根据mysql表中的记录更新配置单元表。Fitness4 Apparel6 Outdoors我正在尝试使用sqoop，在department_id 8中使用增量更新将mysql表中的最后一条记录导入到hive表中。-password xxx --table delimiter_test --hive-import --hive-table my_test --split-
浏览 12提问于2016-12-28得票数 0
回答已采纳
2回答
-不支持hive导入的增量“最后修改”选项
hive、hql、sqoop、hortonworks-data-platform
port}/sqoop \ -- import --null-string "null" --null-non-string "null" --mysql-delimiters--hive-drop-import-delims \ --incrementalcolumnId \
--target-di
浏览 2提问于2020-01-17得票数 0
2回答
使用自由格式查询的Sqoop作业增量导入
hadoop、hdfs、sqoop
我正在尝试使用自由形式查询进行sqoop作业的增量导入。下面是正在使用的查询
sqoop job --create importjobinl -- import --connect jdbc:mysql://localhost/test --username当我使用mysql intest而不是--query时，它是有效的，但是我希望使用--query使用unix_timestamp将日期转换为纪元时间，因为mysql表intest中的值是yyyy-mm-dd
浏览 1提问于2015-09-06得票数 0
1回答
使用Sqoop、timestamp数据类型导入数据
hadoop、hive、sqoop
是否可以通过Sqoop将数据导入到Hive表中，存储为Parquet，并且之前使用decimal和timestamp数据类型创建？
浏览 2提问于2017-04-07得票数 0
1回答
添加到mysql中的新列在Hive中反映了相同的内容。
mysql、hive、sqoop
今天，我在mysql中有4列3行的表。我已经将这些数据直接导入到一个蜂巢表中。表测试：1 sam 123 hyd3 red 456 qer1 sam 123 hyd3 red 456 qer现在，我希望hive表与my
浏览 2提问于2017-03-06得票数 0
回答已采纳
1回答
如何使用linux脚本自动化Sqoop中从DB到HBase的增量导入
shell、hadoop、hbase、sqoop、sqoop2
使用sqoop作业，我们可以使用HBase对--lastval进行增量加载。
但是，我们如何对shell脚本进行同样的处理，以及在自动化脚本时如何获得--lastval呢？
浏览 2提问于2016-09-28得票数 2
回答已采纳
2回答
配置单元中的增量更新
mysql、hadoop、hive、bigdata
我有一个源MySql表。出于分析目的，我必须将数据导出到Hive。最初，当MySQL中的数据较小时，使用Sqoop将Mysql数据完全导出到Hive不是问题。现在，随着我的数据大小的增长，我如何将MySql数据增量更新到hive？
浏览 0提问于2016-05-03得票数 0
1回答
如何将MySql表导入到hive中的目标数据库？
hadoop、hive、sqoop
我已经使用以下sqoop命令成功地将一个SQL表- tblSystem导入到hive中：但是，我注意到这个命令将SQL表导入到hive中的“默认”要将<
浏览 2提问于2015-05-04得票数 1
回答已采纳
1回答
MSSQL与KAFKA集成
apache-kafka
我正在尝试使用kafka (实时数据)将数据从MSSQL导入到Hive，其中包含增量和更新的数据。我看到了github的用于mysql到hdfs数据传输的融合平台，但我没有找到用于MSSQL的。
浏览 27提问于2016-09-26得票数 1
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号