我正在寻找一个好的策略来真正地解耦,为了并行处理,我的web应用程序(ASP.NET MVC/C#)的非即时进程。我将非立即定义为呈现页面或更新信息时不需要立即执行的所有操作。
这些过程包括发送电子邮件,根据数据库信息更新一些内部统计数据,从web服务获取外部信息,这些信息只需要定期完成,等等。
但是,主MVC应用程序和这些后台任务之间需要存在一些通信;例如,ASP.NET应用程序需要通知电子邮件进程发送某些内容。
执行此操作的最佳策略是什么?MSMQ?将所有这些非即时进程转换为windows服务?我正在想象一个真正的解耦场景,但我不想要一个使故障排除/单元测试变得更加困难或引入大量代码的权衡。
谢谢!
发布于 2009-09-07 06:35:23
.NET中的ThreadPool是基于队列的工作者池,但是它由ASP.NET主机进程在内部使用,所以如果你试图更多地利用ThreadPool,你可能会降低网络服务器的性能。
因此,您必须创建自己线程,将其标记为后台,并让它每隔几秒钟轮询一次,以获得工作可用性。
最好的方法是在数据库中创建一个职务表,如下所示:
Table: JobQueue
JobID (bigint, auto number)
JobType (sendemail,calcstats)
JobParams (text)
IsRunning (true/false)
IsOver (true/false)
LastError (text)JobThread类可能如下所示。
class JobThread{
static Thread bgThread = null;
static AutoResetEvent arWait = new AutoResetEvent(false);
public static void ProcessQueue(Job job)
{
// insert job in database
job.InsertInDB();
// start queue if its not created or if its in wait
if(bgThread==null){
bgThread = new Thread(new ..(WorkerProcess));
bgThread.IsBackground = true;
bgThread.Start();
}
else{
arWait.Set();
}
}
private static void WorkerProcess(object state){
while(true){
Job job = GetAvailableJob(
IsProcessing = false and IsOver = flase);
if(job == null){
arWait.WaitOne(10*1000);// wait ten seconds.
// to increase performance
// increase wait time
continue;
}
job.IsRunning = true;
job.UpdateDB();
try{
//
//depending upon job type do something...
}
catch(Exception ex){
job.LastError = ex.ToString(); // important step
// this will update your error in JobTable
// for later investigation
job.UpdateDB();
}
job.IsRunning = false;
job.IsOver = true;
job.UpdateDB();
}
}
}注意:对于高内存使用率的任务,不建议使用此实现,ASP.NET会给大型任务提供大量内存不可用的错误,例如,我们有大量的图像上传,我们需要创建缩略图并使用位图对象处理它们,ASP.NET不允许您使用更多的内存,因此我们必须创建相同类型的windows服务。
通过创建Windows服务,可以方便地创建相同的线程队列和使用更多的内存,并且可以使用WCF或Mutex对象来实现ASP.NET和Windows service之间的通信。
MSMQ MSMQ也很棒,但它增加了配置任务,而且有时很难跟踪错误。我们避免MSMQ是因为我们花了很多时间在我们的代码中寻找问题的答案,否则MSMQ配置是有问题的,而错误有时并没有给出问题的确切位置的足够信息。在我们的自定义解决方案中,我们可以创建完整的调试器版本,使用日志来跟踪错误。这就是托管程序的最大优势,在早期的Win32应用程序中,错误很难追踪。
发布于 2009-09-07 00:42:24
我不能为ASP.NET说话,因为我主要使用Python,but...luckily我可以回答这个问题,因为它更多的是一个元语言问题。
我通常使用独立运行的基于队列的后端守护进程来做到这一点。当您需要向队列中添加某些内容时,您可以使用您选择的方法(我倾向于HTTP)进行IPC并交付作业。守护进程只是一个接一个地检查作业--可能会将它们委托给工作线程本身。您可以跳出应用程序的RESTful端并将作业发送到后端,即:
# In frontend (sorry for Python, should be clear)
...
backend_do_request("http://loadbalancer:7124/ipc", my_job)
...
# In backend (psuedoPython)
while 1:
job = wait_for_request()
myqueue.append(job)
...
def workerthread():
job = myqueue.pop()
do_job(job)如果您稍后需要签入后台守护进程并询问“作业2025完成了吗?”你可以在你的设计中说明这一点。
如果你想用Windows服务来做到这一点,我想你可以做到。它所需要做的就是监听您选择的端口,以获得您想要做的任何IPC --我将坚持使用网络传输,因为本地IPC将假定同一台机器,并限制您的可伸缩性。您的单元测试不应该太难;您可以将前端和后端视为两个不同的项目。
发布于 2009-09-07 00:57:51
在ASP.NET中处理异步处理的最简单方法是使用ThreadPool创建一个将您的工作移交给它的worker。请注意,如果您有许多小作业要快速移交,那么默认的ThreadPool会有一些恼人的锁争用问题。在这种情况下,你要么需要使用C# 4.0新的窃取ThreadPool,要么可以使用MindTouch's Dream库,它有一个窃取线程池实现(以及大量其他异步助手),可以与3.5一起工作。
https://stackoverflow.com/questions/1387103
复制相似问题