使用spring-xd进行查找

Question

我正在寻找使用spring-xd执行查找操作的方法。

我的问题陈述是这样的，

我有一个JSON事件流要进来，我希望在HDFS中或直接从RDBMS中根据我的文件中的阈值来查找事件的值。

请建议一种执行此操作的方法。

提前谢谢你。

Answer 1

如果我理解正确的话，您的消息中的不同值有不同的阈值。

就像这样

值'A‘-> 100

值'B‘-> 200

..。

此信息存储在文件或关系数据库中。现在，您希望根据事件的值和相应的阈值来过滤事件。

我猜您必须编写一个自定义处理器来保存到存储这些值的数据库的连接，并对它们进行查询。如果映射足够小，您应该考虑对其进行缓存，或者至少缓存最常用的值，这样就不会减慢流的速度。

Answer 2

如果我理解您的问题，您可以编写一个groovy处理器来接收有效负载，对其进行过滤，然后将其传递到您想要的任何位置，如hdfs。

 stream --name --def "jdbc | groovyprocessor | hdfs" --deploy

在batch的情况下，您将需要编写一个自定义模块。

Moha