寻找将SybaseIQ中的2TB GBK表迁移到UTF-8文件的有效方法

Question

我的项目需要将超过2TB的原始数据从SybaseIQ迁移到另一个数据库。SybaseIQ使用GBK，目标数据库使用UTF-8，目标数据库只能从UTF-8文件中加载.

我们首先使用摘录选项将数据提取到GBK文件中，然后将数据转换为UTF-8，转换非常慢，因为它仅限于单处理器。

有人能告诉我从SybaseIQ中提取数据并将字符集和编码转换为UTF-8的有效方法吗？

Answer 1

我已经通过命名pipe提升了大约2倍的速度。

第一步：(创建一个命名管道)

mkfifo p1

第二步：(等待转换)

cat p1| iconv -f GBK -t UTF-8 > target.file

最后一步：(导出到p1，请参阅下面的sql脚本)

SET OPTION TEMP_EXTRACT_NAME1 = 'p1';
SELECT * FROM MY_TABLE;
SET OPTION TEMP_EXTRACT_NAME1 = '';