clickhouse - Clickhouse导入的数据被系统强制终止

Question

当我将一个120g的文本文件导入到Clickhouse中时，其中有4亿个数据。导入超过1亿条数据后，我会被杀掉。

导入语句如下：clickhouse-client --user default --password xxxxx --port 9000 -hbd4 --database="dbs" --input_format_allow_errors_ratio=0.1 --query="insert into ... FORMAT CSV" < /1.csv

错误如下：2021.04.29 10:20:23.135790 [ 19694 ] {} <Fatal> Application: Child process was terminated by signal 9 (KILL). If it is not done by 'forcestop' command or manually, the possible cause is OOM Killer (see 'dmesg' and look at the '/var/log/kern.log' for the details).

导入的文件是否太大，导致内存崩溃？我应该再细分一次文件吗？

Answer 1

看看系统日志--它们应该有一些线索：

按照错误消息中的建议，运行

1. 并查看是否提到了触发内存不足事件的OOM Killer内核自我保护机制。如果是这样的话--你的内存不足，或者你已经授予了太多的内存来点击房屋。

1. 看看clickhouse自己的日志是怎么说的。日志文件的路径在yandex/logger/log下的clickhouse-server/config.xml中定义-它可能是/var/log/clickhouse-server/clickhouse-server.log + /var/log/clickhouse-server/clickhouse-server.err.log