首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >手表服务与Java批处理

问手表服务与Java批处理
EN

Stack Overflow用户
提问于 2014-06-05 16:56:31
回答 2查看 5.4K关注 0票数 1

上下文

我正在绘制一个解决方案,以便将一个庞大的PL/SQL系统迁移到Java。第一步是迁移一些ETL作业,这些作业:

  1. 从几个ftp / sftp源读取CSV、XML (XLS,这是一种新的需求)和位置文件。
  2. 根据存储在数据库中的规则处理文件,并将结果写入数据库表。

目前,这是由几个存储过程和乔布斯。

我的公司愿意接受建议(如果它可以在GlassFish 4中运行并共享它的日志记录和连接池机制,以及管理控制台,那就更好了)。

我做了一些研究,下面的选择引起了我的注意:

  1. Java 7批处理,听起来很简单,特别适合GlassFish 4。
  2. 弹簧批更成熟一些,非常类似于Java 7标准(可能基于它)。
  3. 阿帕奇骆驼,听起来很强大,可以让我们避免使用Apache这样的库,但它看起来也有点复杂。此外,我也不确定这是否是最适合的工作(ETL的巨大文件)。
  4. 一个人做所有的菜。我可以创建一个应用程序客户机来运行Quartz / Scheduler,甚至EJB计时器

虽然我仍然愿意听取意见(建议会很好),但到目前为止,最好的选择似乎是Java 7批处理。

还有一件事是,基础设施团队有一个解决方案,可以将文件从每个ftp源转移到本地目录,因此FTP实际上不是问题。

问题

我读过一些关于Java批处理的教程,在所有教程中,一些Servlet或EJB计时器负责启动作业:

代码语言:javascript
复制
JobOperator jobOperator = BatchRuntime.getJobOperator(); 
jobOperator.start("job", properties);

我可以轻松地上传一个web / ejb项目,并不断地为更改进行池化。但我在想一个推模式:

  1. 应用客户端控制台应用程序
  2. 新文件的主类监视目录
  3. 当有一个新文件时,它将启动一个新作业。

我的怀疑是:

  1. 这种策略可行/可取吗?
  2. 我是否需要一个JMS队列或中间的某种生产者/消费者策略,还是应该对每个文件调用jobOperator.start,并信任批处理层来管理应用程序资源?换句话说,如果有1000个文件同时被传递到我的文件夹,并且我调用了jobOperator.start一千次,那么GlassFish 4是在执行某种智能队列,还是应该创建某种门,以便只同时运行n作业?
EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2014-06-09 21:41:52

我已经在Wildfly (Jboss )中实现了一个带有批处理的项目。我不太熟悉Glassfish的配置细节(不再使用它了,因为已经放弃了企业支持),但是我可以根据我的经验给您一些见解和指导。另外,请注意Spring和批次规格。在EE 7上是非常相似的,您使用这两种技术的决定必须取决于除了批处理之外,您还想通过应用程序实现什么。你想要一个易于维护的网络界面吗?您想要开发REST吗?等等。

您所描述的ETL作业适合EE 7规范中的步骤和块模型,因此如果您已经尝试开发了一些测试,您可能已经注意到仍然需要为每个文件规范编写文件读取器和映射器。您的阅读源是相当标准的,您将很容易找到一个库来读取/流它们并处理它们的数据。

我实现的项目非常简单。客户上传需要处理的文件,以便输入数据仓库。这个服务是在“云”上的。文件具有定义的规范,必须采用CSV格式。大多数处理结果是二维的“向上”和事实“删除前插入”。用户有一个Web界面,必须在其上显示文件和批处理元数据(处理状态、日期、拒绝项等)。因为它是云服务,所以文件不能驻留在每个服务器上(使用S3)。

因此,首先要设计的是块步骤。我不希望每个文件规范都有一个实现,所以我所做的就是设计一个“适合所有情况”的实现,根据其中包含的元数据以及作业配置本身来处理文件。这是最简单的部分。要考虑的第二件事是处理和元数据管理。在这里,我开发了一个REST和一个使用它的Web接口。在这一切之后,它会扩大吗?Wilfly拥有批处理的线程配置参数,您可以增加或降低JobOperator的线程可用性。如果没有足够的可用线程,则不会提交作业。那么这些请求会发生什么呢?那么,它们可以驻留在内存中,可以开发一个备份的有状态会话,您肯定可以实现排队处理请求的MQ侦听器。我所做的要简单得多。该公司没有资源来维护集群,所以做了一种弹性配置,将编码扩展到cpu消耗和请求量。到目前为止,该应用程序已经处理了来自15个客户的10 TB数据,在最大请求/处理峰值时,已经启动了3个弹性实例。

文件侦听器是一个有趣的想法。您可以侦听一个目录,并将处理请求放到队列中,或者直接放到BatchRuntime中。它将取决于您想要如何扩展它、所需的响应时间、可用的资源等等。

随便问我什么都行。

致以问候。

编辑:忘了提到。我不建议使用Application,除非您已经在组织中部署了一些东西。最近的安全约束和java更新机制使维护此类部署变得非常麻烦。想想网吧。

票数 3
EN

Stack Overflow用户

发布于 2014-06-10 00:28:55

我会以这种方式接近它。

这个用例的锤子是Java监视服务、Servlet、JMS和批处理服务。

首先,Watch服务是Java 7去处理文件系统监视的地方。

我会编写一个Watch服务实现,然后在一个线程上运行它。

您会问线程在哪里运行?

从官方角度来看,您可能应该为此使用JCA。但是,JCA完全是一个痛苦的工作,未得到充分利用,因此被记录在案。有很好的例子,但它在Java堆栈中并不是一种常见的技术。

另一个地方是异步会话Bean调用。没有任何迹象表明这些不可能是长久的调用。您可以使用@Startup站起来一个@Singleton会话Bean,从@PostConstruct方法调用异步方法,然后让它离开。然后,在@PreDestroy中,向长时间运行的方法发出停止信号,这样它就可以干净地关闭。这一切都应该是规格,便携,并根据霍伊尔。

对于您来说,第三个地方是一个ServletContextListener,它是将代码绑定到应用程序生命周期的前Java 6 go。在这里,您将自己在contextInitialized方法中创建线程,然后在contextDestroyed方法中将其撕毁。

在这里创建线程是“定义较少的”,但是我已经做了很多年了,从来没有遇到过问题。

现在您已经运行了您的服务,服务(IMHO)将做两件事。

1)当一个新文件到达目录时,它会感觉到,当它到达时,它会将文件移动(mv,重命名)到一个并行的“处理”目录中。原因是这告诉您一个文件已经从传入移动到处理,该文件是一个正在进行的工作。无论后端认为它在做什么,从目录列表中可以看出这是显而易见的。请记住,系统可以在文件的过程中进行下去。

2)移动后,将文件名和任何其他元数据放到JMS队列上,并让MDB工具对批处理作业进行处理。

为什么要添加JMS队列?它给晚会带来了几个特色。首先,它是“从外部”获取EJB喜欢的愉快事务上下文的好方法,也是获取内部事务上下文的好方法。第二,这是事务性的。根据您的ETL用例,您可以让MDB直接处理作业。通过这样做,在完成处理(文件被删除或从“处理”目录中移出)之前,您只需要确认队列中的消息。在理想情况下,消息队列具有与处理目录中的文件相匹配的消息。当处理完成后,方法返回,消息提取“提交”,您就完成了。如果系统崩溃,这将从一开始就自动重新启动(因为消息仍然在队列中并且从未被删除)。

MDB通过配置它的实例,也可以对同时作业的数量进行门化。配置10个实例,只能同时处理10个文件。但这可能有点太简单,太粗糙。例如,没有优先权(先到先得)。但它可能对你有用。

但是无论哪种方式,MDB都是进入系统的一个很好的网关,因为每个MDB都是从它自己的一些事务上下文开始的。与长期运行的servlet线程或长时间运行的异步线程不同。servlet线程有一个有问题的(如果有的话)事务状态,长时间运行的线程从@Startup方法继承它的状态,并在它的生命周期中保留它。MDB每次都会得到一个新的。其中大部分都可以使用新事务调用方法。

但我喜欢MDB的划分。即使它的整个任务是为文件名创建批处理条目,MDB也是一个很好的守护者。

差不多就是这样了。

关键的部分是做一个好公民,拆下与应用程序生命周期相关联的线程,了解不同组件上的事务状态,以及了解所有移动部件是如何结合在一起的。

如果使用@Startup技术,请确保通过注入会话bean的另一个实例来调用异步方法。否则调用将是本地调用,而不是异步调用。你会盯着它,想知道为什么你的服务器挂起而没有启动。所有EJB注释仅在通过注入或查找代理调用时才能工作。

玩得开心,分享和享受。

问题的增编:

让外部进程管理监视服务是没有价值的。与服务器生命周期相关联的服务器更容易维护。我想到了两件事。如果服务器关闭,文件将在文件系统中堆叠,直到服务器再次启动,因此不会丢失数据。如果您有一个外部服务,那么您可以让它将消息发送到死服务器,或者您必须将JMS服务器独立于应用服务器进行阶段和管理。在这种情况下,您现在可以管理3个进程:监视服务、JMS服务器和应用服务器,而不仅仅是应用服务器。

我同意另一张海报,即如果您决定使用外部服务,简单的Java SE应用程序向服务器上的JAX-RS REST服务发布简单消息,甚至一个微不足道的Servlet都比应用客户端更容易维护、开发和部署。如果你这样做,你可以用完全不同的方式写手表服务。

但是,由于服务器(表面上)可以使用文件直接访问文件系统,所以实际上没有动机在容器之外中断该服务。把整套装备放进耳朵里,然后拿去。只是简单简单的管理。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/24065966

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档