大查询作业在遇到“坏字符(ASCII 0)”时会失败。

Question

我有一项工作因出错而失败。

行:14222274/字段:1，遇到不良字符(ASCII 0)。其余文件未处理。

数据被压缩，我已经验证文件中没有ASCII 0字符。文件中只有14222273行，因此错误消息中打印的行号是文件结束后的一行。我有来自相同数据集的其他块，它们已经成功上传，所以我怀疑这要么是bug错误，要么是错误消息并不表示潜在的问题。任何解决这个问题的帮助都将不胜感激。谢谢。

>>> data = open("data.csv").read()
>>> chr(0) in data
False
>>> data[-1]
'\n'

Answer 1

当你压缩时你使用了什么实用程序？

当我以ZIP格式(在windows中)压缩csv文件时，我看到了这个问题。Google BigQuery似乎只接受gzip格式。

确保使用gzip压缩您的CSV。如果您在windows中，7-拉链是一个很好的实用程序，它允许您在gzip中进行压缩。

在Unix中，gzip是标准的。

Answer 2

遇到坏字符(ASCII 0)。其余文件未处理.

显然，你有一个UTF-16字符，不能被解码。BigQuery服务只支持UTF-8和latin1文本编码。所以，文件应该是UTF-8编码的。

文件中只有14222273行，因此错误消息中打印的行号是文件结束后的一行。

可能您有一个UTF-16编码的标签字符在文件的末尾，它不能被解码。

解决方案：使用带有gzip命令的-a或--ascii标志。它会被bigquery解码的。