从Qubole将本地csv插入配置单元表

Question

我的本地计算机上有一个csv，并且我通过Qubole web控制台访问配置单元。我正在尝试将csv作为新表上载，但无法确定。我尝试过以下几种方法：

LOAD DATA LOCAL INPATH <path> INTO TABLE <table>;

我得到的错误是No files matching path file

我猜测csv必须在某个远程服务器上，而不是在我的本地计算机上。我看到的解决方案并没有解释如何处理这个问题。有没有人能帮帮我。这?

Answer 1

Qubole允许你在云存储( s3或azure存储)上的数据上定义配置单元外部/托管表-因此从本地机器加载将不起作用。你必须把它上传到你的云存储上，然后根据它定义一个外部表-

CREATE External TABLE orc1ext(
  `itinid` string, itinid1 string)
stored as ORC
LOCATION
  's3n://mybucket/def.us.qubole.com/warehouse/testing.db/orc1';

INSERT INTO TABLE orc1ext SELECT itinid, itinid 
FROM default.default_qubole_airline_origin_destination LIMIT 5;

Answer 2

首先，使用csv file.syntax中的字段名在hive上创建一个表，您使用的字段名似乎是正确的。使用以下语法创建表

 CREATE TABLE foobar(key string, stats map<string, bigint>)
 ROW FORMAT DELIMITED
 FIELDS TERMINATED BY ','
 COLLECTION ITEMS TERMINATED BY '|'
 MAP KEYS TERMINATED BY ':' ;

然后使用下面的格式加载数据，然后正确地提到路径名

LOAD DATA LOCAL INPATH '/yourfilepath/foobar.csv' INTO TABLE foobar;