类似Logstash的Azure认知搜索工具？

Question

我的公司有大量的数据(数据库: PostgreSQL)，现在的要求是增加搜索功能，我们被要求使用Azure认知搜索。我想知道我们如何转换数据并将其发送到Azure搜索引擎。我们必须处理的案件很少：

1. 我们将如何在搜索引擎索引上传输和上传现有数据？
2. 使用生产数据库中的新记录更新搜索引擎上的数据，最简单的方法是什么？(目前，我们正在使用Java后端代码来转换数据和更新索引，但这非常耗时)。3.当对现有数据库结构进行更新时，最好的管理方法是什么？我们如何通过每次创建索引器来更新索引器而不做大量的工作？

不管怎么样，只要数据库记录发生变化，我们就可以自动更新索引。

Answer 1

您可以编写代码将数据从PostgreSQL数据库通过/docs/index API推入Azure搜索索引，也可以配置Azure来进行数据摄取。配置Indexer来进行摄入的好处是，您还可以配置它以监视更新计划中的数据源，并将这些更新自动反映到搜索索引中。例如，通过SQL集成更改跟踪策略

PostgreSQL是受支持的数据源 for Azure搜索索引器，尽管数据源处于预览状态(无法获得一般可用)。

Answer 2

除了上面涉及到在您的端进行编码的答案之外，还有一个解决方案可以使用Azure数据工厂PostgreSQL连接器实现，它使用一个自定义查询来跟踪最近的记录，并创建一个管道活动，该管道活动会深入到Azure Blob存储帐户。然后，在Data中，您可以链接到一个复制到Azure认知搜索索引的管道活动和向管道中添加触发器，以便在指定的时间运行。

​

一旦分阶段数据以delimitedText格式进入存储帐户，您还可以使用内置Azure Blob索引器并启用更改跟踪。