Geomesa索引是否可靠并与主表保持同步？

Question

要创建索引，Geomesa将在HBase中创建多个表。我有几个问题：

1. Geomesa如何确保这些表保持同步？
2. 如果索引表不同步，将对Geomesa查询产生什么影响？
3. 如果Geomesa无法编写一个索引表(使用写调用)，会发生什么情况？
4. 表之间的同步是最好的努力，还是Geomesa确保数据的可用性与最终的一致性？

我计划使用Geomesa和Hbase (由S3支持)组合来存储我的地理空间数据；数据大小可以增长到兆字节到彼特字节。

我正在调查Geomesa在主表和索引表之间的同步方面有多可靠？

HBase表：

catalog1

catalog1_node_id_v4 (主表)

catalog1_node_z2_geom_v5 (索引表)

catalog1_node_z3_geom_lastUpdateTime_v6 (索引表)

catalog1_node_attr_identifier_geom_lastUpdateTime_v8 (索引表)

Geomesa模式

geomesa描述-模式-c catalog1 -f节点

描述特征“节点”属性的信息

键串

命名空间\字符串

标识符/字符串(属性索引)

versionId @ String

nodeId @ String

纬度-经度-整数- lastUpdateTime -日期(时空索引)

标签图

geom x Point (时空索引)(空间索引)

用户数据: geomesa.index.dtg = lastUpdateTime

geomesa.indices : z3:6:3:geom:lastUpdateTime，z2:5:3:geom，id:4:3:，attr:8:3:标识符:geom:lastUpdateTime

Answer 1

GeoMesa不做任何同步索引的事情--一般来说，这应该在您的摄入过程中处理。

如果您有一个与给定输入特性相关联的可靠的特性ID，那么您可以多次写入该特性，而不会造成重复。在摄入过程中，如果一批功能由于短暂的问题而失败，那么您可以重写它们以确保索引是正确的。

对于HBase，当在特性编写器上调用flush或close时，挂起的突变将被发送到集群。一旦该方法成功返回，数据将被持久化到HBase。如果引发异常，则应重新尝试失败的功能。如果随后出现HBase故障，则可能需要按照标准HBase操作恢复预写日志(WALs)。

由于验证(例如，空几何)，特性也可能无法编写。在这种情况下，您可能不想重新尝试该功能，因为它永远不会成功地摄入。如果您使用的是GeoMesa转换器框架，您可以使用预验证特性来确保它们可以正常使用。

如果您还没有一个吞食管道，您可能想要签出吉萨-尼菲，它将允许您转换和验证输入数据，并通过Nifi流自动重试失败。