如何在mysqlsh importTable工具中跳过/虚拟列？

Question

我想显式列出importTable中的columns，用于使用mysqlsh的LOAD DATA

https://dev.mysql.com/doc/mysql-shell/8.0/en/mysql-shell-utilities-parallel-table.html

import.js：

util.importTable("sample.csv", {schema: "myschema", table: "mytable", 
    showProgress: true, columns: ["id","firstname",@dummy,@dummy,"lastname"]});

我的csv包含5列。但是如果我的最后一个表只包含id, firstname, lastname，我必须找到一种方法跳过源csv的两列，

导入方式：

mysqlsh --user=root --password='rootpw' --socket=/var/run/mysqld/mysqld.sock < import.js

问题：SyntaxError: Invalid or unexpected token at STDIN:2:347。@dummy、'@dummy'和"@dummy"都不起作用。

问:如何跳过虚拟列？当使用LOAD DATA时，它可以在列选项中使用@dummy。

Answer 1

tl;dr

从MySQL外壳8.0.22开始，您可以通过将columns选项中的列名替换为整数值来跳过列。

util.importTable("/tmp/names.csv", {
    table:"names",
    columns: ["id", "firstname", 1, 2, "lastname"],
    dialect: "csv-unix"
});

相当于：

LOAD DATA LOCAL INFILE '/tmp/names.csv' INTO TABLE `names`
FIELDS TERMINATED BY ',' ENCLOSED BY '"' ESCAPED BY '\\'
LINES TERMINATED BY '\n'
(id, firstname, @1, @2, lastname);

MySQL外壳>= 8.0.22

decodeColumns选项以与LOAD DATA语句的SET子句相同的方式为捕获的数据指定预处理转换，并将它们分配给目标表中的列。

util.importTable column选项已扩展，现在接受整数作为数组值。作为k-th参数传递的整数值，将输入文件中的k-th列捕获为名为@i的用户变量，其中i是传递的整数。

绑定到用户变量的捕获列值可以在decodeColumns选项中使用，以便在将结果分配给表中的列之前对数据进行预处理和转换。

示例1-预处理column2：

util.importTable('file.txt', {
  table: 't1',
  columns: ['column1', 1],
  decodeColumns: {'column2': '@1 / 100'}
});

等同于：

LOAD DATA LOCAL INFILE 'file.txt'
INTO TABLE `t1` (column1, @var1)
SET `column2` = @var/100;

示例2-跳过列：

util.importTable('file.txt', {
  table: 't1',
  columns: ['column1', 1, 'column2', 2, 'column3']
});

等同于：

LOAD DATA LOCAL INFILE 'file.txt'
INTO TABLE `t1` (column1, @1, column2, @2, column3);

示例3-为列生成值

util.importTable('file.txt', {
  table: 't1',
  columns: [1, 2],
  decodeColumns: {
    'a': '@1',
    'b': '@2',
    'sum': '@1 + @2',
    'mul': '@1 * @2',
    'pow': 'POW(@1, @2)'
  }
});

等同于：

LOAD DATA LOCAL INFILE 'file.txt'
INTO TABLE `t1` (@1, @2)
SET
  `a` = @1,
  `b` = @2,
  `sum` = @1 + @2,
  `mul` = @1 * @2,
  `pow` = POW(@1, @2);

8.0.17 <= MySQL外壳< 8.0.22

不幸的是，目前MySQL外壳8.0.18中的util.importTable不支持传递给列的用户变量选项。

alter table names add column (dummy1 integer, dummy2 integer);

导入您的数据，例如/tmp/names.csv1

util.importTable("/tmp/names.csv", {table:"names", columns: ["id", "firstname", "dummy1", "dummy2", "lastname"], dialect: "csv-unix"})

和drop dummy列：

alter table names drop column dummy1;
alter table names drop column dummy2;

或者简单地调用LOAD DATA LOCAL INFILE SQL命令：

LOAD DATA LOCAL INFILE '/tmp/sample.csv'
  INTO TABLE myschema.mytable
  (id, firstname, @dummy, @dummy, lastname);

1个示例数据/tmp/names.csv

1,"Nicole",71,29,"Tusk"
2,"Bob",49,66,"Schiffer"
3,"Susan",61,17,"Tusk"
4,"Bob",24,59,"Trump"
5,"Nicole",25,46,"Goldberg"
6,"Bob",16,71,"Goldberg"
7,"Mark",43,43,"Schiffer"