我有一个具有繁重IO操作的应用程序,例如文件复制、在文件系统中压缩和移动文件、复制到备份服务器。
我将这个程序构建为单线程。它在2分钟内运行。
我用并行扩展和使用Task构建了这个程序的另一个版本,它也几乎在2分钟内运行。
换句话说,我没有看到由于大量IO而使用Parallels带来的性能提升。
如果我将应用程序部署到刀片式服务器,是否会得到相同的结果?
刀片式服务器/在多通道上处理IO是否比我的工作站更快?
在IO受限的应用程序中使用Parallels没有好处吗?
发布于 2011-03-18 12:46:26
如果您所做的只是在整个系统中复制或移动文件,那么TPL提供的并行性不会给您带来多大好处。例如,移动实际上并不使用任何CPU,它只是改变了文件在磁盘目录记录结构中的位置。
文件压缩则是另一回事。在这里,您正在加载数据并使用CPU对其进行压缩,然后将其保存到磁盘。您可以使用pipeline或parallel loop以更有效的方式加载/压缩/保存数据。您可以让多个线程处理不同的文件,而不是让一个线程处理每个文件。
下面的代码先按顺序压缩大量文件,然后再并行压缩。我在i7 920和英特尔X25固态硬盘上获得了以下时间,该固态硬盘压缩了329张JPG图像,总共有800Mb数据。
顺序: 39901ms
并行: 12404ms
class Program
{
static void Main(string[] args)
{
string[] paths = Directory.GetFiles(@"C:\temp", "*.jpg");
DirectoryInfo di = new DirectoryInfo(@"C:\temp");
Stopwatch sw = new Stopwatch();
sw.Start();
foreach (FileInfo fi in di.GetFiles("*.jpg"))
{
Compress(fi);
}
sw.Stop();
Console.WriteLine("Sequential: " + sw.ElapsedMilliseconds);
Console.WriteLine("Delete the results files and then rerun...");
Console.ReadKey();
sw.Reset();
sw.Start();
Parallel.ForEach(di.GetFiles("*.jpg"), (fi) => { Compress(fi); });
sw.Stop();
Console.WriteLine("Parallel: " + sw.ElapsedMilliseconds);
Console.ReadKey();
}
public static void Compress(FileInfo fi)
{
using (FileStream inFile = fi.OpenRead())
{
if ((File.GetAttributes(fi.FullName)
& FileAttributes.Hidden)
!= FileAttributes.Hidden & fi.Extension != ".gz")
{
using (FileStream outFile =
File.Create(fi.FullName + ".gz"))
{
using (GZipStream Compress =
new GZipStream(outFile,
CompressionMode.Compress))
{
inFile.CopyTo(Compress);
}
}
}
}
}
}有关压缩代码,请参阅How to: Compress Files
发布于 2011-03-18 13:02:03
如果您在一台物理设备上移动文件,您不会看到向同一设备发出多个并行IO请求带来的性能优势。设备的运行速度已经比CPU慢了许多个数量级,因此并行发出的多个请求仍将排队等待在设备上逐个处理。您的并行代码正在被序列化,因为它们都在访问同一设备,而这些设备实际上不能同时处理多个请求。
如果您的磁盘控制器实现了“升降机寻道”、“分散-聚集”或其他无序操作,您可能会看到并行代码的性能有微小的提高,但性能差异将相对较小。
当您在许多不同的物理设备之间移动文件时,您会发现文件I/O的一个更有价值的性能差异。您应该能够将磁盘A上的文件移动或复制到磁盘A上的某个其他位置,同时还可以将磁盘B上的文件复制到磁盘C。对于许多物理设备,您不会让所有并行请求堆叠在一起,等待一个设备满足所有请求。
您可能会在网络I/O中看到类似的结果:如果所有东西都通过一个以太网卡/网段,您将不会像使用多个以太网卡和多个网段时实现那么多的并行性。
发布于 2011-03-18 11:47:18
我认为并行扩展在CPU操作上的优势是显著的。Donnu它是如何影响IO的。
https://stackoverflow.com/questions/5347801
复制相似问题