elasticsearch 8.x中的批量索引：‘Action/元数据行[1]包含一个未知参数[_type]’

Question

我一直试图在elasticsearch 8.x中执行一个大容量索引，使用以下方法：

from elasticsearch.helpers import bulk as bulk_indexer

success, failed = bulk_indexer(self.es_client, actions, stats_only=True, chunk_size=900)

显然我看到的是：

RuntimeError: elasticsearch.BadRequestError: BadRequestError(400, 'illegal_argument_exception', 'Action/metadata line [1] contains an unknown parameter [_type]') [while running 'bulk index']

我知道了https://www.elastic.co/guide/en/elasticsearch/reference/7.17/removal-of-types.html的事

我认为这就是原因，但谁能帮我知道为什么我会看到这个，或者是什么问题？

我试着从es 5迁移到es 8.x

Answer 1

操作命令行中一定有一个不应该存在的_type。如果这些记录已经在早期版本的ES中存储在Kafka中，并且您正在重放它们，或者如果客户端应用程序仍然使用相同的逻辑生成这些操作记录，那么您要么需要更改生成逻辑和/或在批量索引器中对这些记录进行后处理以删除_type字段。