单元中支持的字段(列)的最大数量是多少？

Question

我尝试使用复杂数据structure.But创建具有>1000个字段(列)的hive表，结果出现了以下错误。

执行错误，从org.apache.hadoop.hive.ql.exec.DDLTask返回代码1。MetaException(message:javax.jdo.JDODataStoreException:添加请求失败:插入"COLUMNS_V2“("CD_ID”、“注释”、"COLUMN_NAME“、"TYPE_NAME”、"INTEGER_IDX")值(？、？)NestedThrowables: java.sql.BatchUpdateException:批处理条目0插入"COLUMNS_V2“(”

但是，当我将字段数量减少到500时，它是成功的。

Answer 1

您必须更改允许的最大字符数的值。这可以通过更改表"SERDEPROPERTIES“和列"PARAM_VALUE”的值来实现。

该表是存在于MySQL，这是一个亚稳态。

增加列类型的值，问题将得到解决。您可以将其增加到varchar(15000)或任何对您来说更好的值。

Answer 2

一种适用于基于avro的表的方法是创建具有简化模式(少量列)的表。创建表后，用完整的架构替换减少的架构文件。