首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在原始有效负载保持不变的情况下异步处理交换

问在原始有效负载保持不变的情况下异步处理交换
EN

Stack Overflow用户
提问于 2014-10-14 08:04:03
回答 1查看 362关注 0票数 0

我们需要处理超过100k条记录的文件。每条记录都应该生成为XML并保存到数据库中。我们能够实现一个可以处理超过50万条记录的系统,现在我们有了一个新的要求,将每条记录转换成另一种形式的XML,并保存在另一张表中,以便进行审计。

我遵循以下方法来实现它。首先从平面文件中读取每条记录,转换为域合同,然后并行保存到审计表中,并转换/丰富为另一种格式并保存到域表中。以下是我正在使用的示例路由。

代码语言:javascript
复制
        <route>
           <from uri="direct-vm:domainInXML" />
           <setHeader headerName="auditID"><groovy>UUID.randomUUID().toString()</groovy>  </setHeader>
           <!-- aysn transform and save domain XML to audit DB -->
           <inOnly uri="vm:auditInXMLTransformAndDBPersistor"/>
           <to uri="activemq:queue:domianInQueue?disableReplyTo=true"/>
        </route>
        <route>
             <from uri="activemq:queue:domianInQueue" />
             <!-- transform and enrich headers -->
             <to uri="xslt:xslt/convertToInternalDomainContract.xsl />
             <to uri="direct-vm:transformAndSaveTODomainDB"/>
        </route>
         <route>
             <from uri="vm:auditInXMLTransformAndDBPersistor?concurrentConsumers=3" />
             <!-- transform and enrich headers -->
             <to uri="xslt:xslt/convertToAuditDomainContract.xsl />
             <to uri="direct-vm:transformAndSaveTOAuditDB"/>
        </route>

这里的问题是,由于我们正在处理数千条记录,审计XML的转换和持久性是否在另一个线程中并行运行,而同一个域XML被转换为另一种格式并保存到域DB?

会有任何延误吗?你有没有更好的方法可以推荐?当我们将审计XML保存到数据库中时,最初我们将状态设置为'CREATE',在内部域的转换、验证和持久化失败的过程中,我们需要使用header中的auditID将审计表中的状态更新为错误。

在处理过程中,当任何记录由于某些错误而无法处理时,我尝试使用头中的auditID将状态更新为错误,但此时可能存在未对auditDB进行审计的情况。如何解决这个问题?任何帮助都是非常感谢的。

EN

回答 1

Stack Overflow用户

发布于 2014-10-16 07:03:09

对于涉及审计窃听的用例,eip会派上用场。你可以参考http://camel.apache.org/wire-tap。根据Camel的定义,Wire Tap (来自EIP模式)允许您在将消息转发到最终目的地时将消息路由到单独的位置。

基本上,wiretap创建了一个不同的线程,并使用原始exchange的副本执行所需的功能。包括失败的情况下,您可以使用相同的窃听路由来执行任何更新。为了确认它是按顺序处理的,您可以将并发消费者设置为1,这样您就不会陷入竞争状态。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/26350748

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档