我们需要处理超过100k条记录的文件。每条记录都应该生成为XML并保存到数据库中。我们能够实现一个可以处理超过50万条记录的系统,现在我们有了一个新的要求,将每条记录转换成另一种形式的XML,并保存在另一张表中,以便进行审计。
我遵循以下方法来实现它。首先从平面文件中读取每条记录,转换为域合同,然后并行保存到审计表中,并转换/丰富为另一种格式并保存到域表中。以下是我正在使用的示例路由。
<route>
<from uri="direct-vm:domainInXML" />
<setHeader headerName="auditID"><groovy>UUID.randomUUID().toString()</groovy> </setHeader>
<!-- aysn transform and save domain XML to audit DB -->
<inOnly uri="vm:auditInXMLTransformAndDBPersistor"/>
<to uri="activemq:queue:domianInQueue?disableReplyTo=true"/>
</route>
<route>
<from uri="activemq:queue:domianInQueue" />
<!-- transform and enrich headers -->
<to uri="xslt:xslt/convertToInternalDomainContract.xsl />
<to uri="direct-vm:transformAndSaveTODomainDB"/>
</route>
<route>
<from uri="vm:auditInXMLTransformAndDBPersistor?concurrentConsumers=3" />
<!-- transform and enrich headers -->
<to uri="xslt:xslt/convertToAuditDomainContract.xsl />
<to uri="direct-vm:transformAndSaveTOAuditDB"/>
</route>这里的问题是,由于我们正在处理数千条记录,审计XML的转换和持久性是否在另一个线程中并行运行,而同一个域XML被转换为另一种格式并保存到域DB?
会有任何延误吗?你有没有更好的方法可以推荐?当我们将审计XML保存到数据库中时,最初我们将状态设置为'CREATE',在内部域的转换、验证和持久化失败的过程中,我们需要使用header中的auditID将审计表中的状态更新为错误。
在处理过程中,当任何记录由于某些错误而无法处理时,我尝试使用头中的auditID将状态更新为错误,但此时可能存在未对auditDB进行审计的情况。如何解决这个问题?任何帮助都是非常感谢的。
发布于 2014-10-16 07:03:09
对于涉及审计窃听的用例,eip会派上用场。你可以参考http://camel.apache.org/wire-tap。根据Camel的定义,Wire Tap (来自EIP模式)允许您在将消息转发到最终目的地时将消息路由到单独的位置。
基本上,wiretap创建了一个不同的线程,并使用原始exchange的副本执行所需的功能。包括失败的情况下,您可以使用相同的窃听路由来执行任何更新。为了确认它是按顺序处理的,您可以将并发消费者设置为1,这样您就不会陷入竞争状态。
https://stackoverflow.com/questions/26350748
复制相似问题