批量上传到亚马逊网络服务上托管的MySQL时出错

Question

我已经与亚马逊网络服务上托管的MySQL建立了连接。目前，对于批量上传，我使用的是DBI dbWriteTable函数。缺点是，插入具有10k观察值的data.frame需要5分钟。我决定尝试使用LOAD DATA INFILE query来减少上传批量数据帧所需的时间。但是，我收到一个错误，告诉我当前的用户id被拒绝执行这样的命令。

下面是我尝试过的代码，后面跟着错误消息。

library(RMariaDB)
library(DBI)

con = dbConnect(MariaDB(),
            dbname = "testing123",
            host = "********",
            user = "*****",
            password = "******", 
            port = 3306 
 )

dbWriteTable(con, "mt", mtcars)

##create a data frame that has about 6000 rows
mtcars.extended = cbind(mtcars, rep(unname(unlist(mtcars)), 20))

#use the standard dbwritetable to append the rows
dbWriteTable(con, "mt", mtcars, append = T)
###This took 5 minutes but worked

##So I decided to save mtcars.extended as a csv and try the bulk 
upload
write.table(mtcars.extended, "mtext.csv")

query = "LOAD DATA INFILE 'mtext.csv' INTO TABLE mt"

dbGetQuery(con, query)
Error in result_create(conn@ptr, statement, is_statement) : 
Error executing query: Access denied for user 'testing123'@'%' 
(using password: YES)

dbSendStatement(con, query)
 Error in result_create(conn@ptr, statement, is_statement) : 
 Error executing query: Access denied for user 'testing123'@'%' 
 (using password: YES)

我希望看到的是相对快速地插入到数据表"mt“中，而不进行任何覆盖。但AWS似乎不允许我进行批量上传。

多亏了Matus我解决了这个问题。唯一的问题是，我在批量上传时得到了NA。

  query = "LOAD DATA LOCAL INFILE 'mt.csv' INTO TABLE mtcars"

​

​

Answer 1

我猜你说的是RDS MySQL。您在尝试执行LOAD DATA INFILE查询时会看到权限错误，这仅仅是因为您没有RDS托管系统的完全根权限。

您可以尝试在--local-infile=1标志设置为true的情况下运行LOAD DATA LOCAL INFILE。这应该是可行的，因为您不需要该权限来运行此查询。