NNTP usenet下载消息

Question

我想下载usenet消息到我的个人Mysql数据库，所以不使用任何新闻阅读器。目前，我正在为.NET使用IpWorks组件。我用Vb.Net创建了一个简单的应用程序，它可以工作，但它真的很慢……下载并执行插入操作。有谁知道更好的方法来“海量”下载消息，并将其插入到一个简单的mysql表中？

Answer 1

您可能希望尝试使用bulk insert or a delayed insert，而不是按顺序逐行输入项目。

此外，很多操作都可以异步完成。您正在做的大多数工作(写入数据库和从nntp下载内容)都不绑定到您的计算机上的资源。您可以在独立于执行插入的线程中执行nntp内容的下载和读取(在将内容发送到mysql之前，您应该对要插入的内容进行缓冲)。

基本上，您需要一个producer consumer pattern。