首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >并行扩展

问并行扩展
EN

Stack Overflow用户
提问于 2011-03-18 11:37:53
回答 5查看 2K关注 0票数 4

我有一个具有繁重IO操作的应用程序,例如文件复制、在文件系统中压缩和移动文件、复制到备份服务器。

我将这个程序构建为单线程。它在2分钟内运行。

我用并行扩展和使用Task构建了这个程序的另一个版本,它也几乎在2分钟内运行。

换句话说,我没有看到由于大量IO而使用Parallels带来的性能提升。

如果我将应用程序部署到刀片式服务器,是否会得到相同的结果?

刀片式服务器/在多通道上处理IO是否比我的工作站更快?

在IO受限的应用程序中使用Parallels没有好处吗?

EN

回答 5

Stack Overflow用户

回答已采纳

发布于 2011-03-18 12:46:26

如果您所做的只是在整个系统中复制或移动文件,那么TPL提供的并行性不会给您带来多大好处。例如,移动实际上并不使用任何CPU,它只是改变了文件在磁盘目录记录结构中的位置。

文件压缩则是另一回事。在这里,您正在加载数据并使用CPU对其进行压缩,然后将其保存到磁盘。您可以使用pipeline或parallel loop以更有效的方式加载/压缩/保存数据。您可以让多个线程处理不同的文件,而不是让一个线程处理每个文件。

下面的代码先按顺序压缩大量文件,然后再并行压缩。我在i7 920和英特尔X25固态硬盘上获得了以下时间,该固态硬盘压缩了329张JPG图像,总共有800Mb数据。

顺序: 39901ms

并行: 12404ms

代码语言:javascript
复制
class Program
{
    static void Main(string[] args)
    {
        string[] paths = Directory.GetFiles(@"C:\temp", "*.jpg");

        DirectoryInfo di = new DirectoryInfo(@"C:\temp");

        Stopwatch sw = new Stopwatch();
        sw.Start();
        foreach (FileInfo fi in di.GetFiles("*.jpg"))
        {
            Compress(fi);
        }
        sw.Stop();
        Console.WriteLine("Sequential: " + sw.ElapsedMilliseconds);

        Console.WriteLine("Delete the results files and then rerun...");
        Console.ReadKey();

        sw.Reset();
        sw.Start();
        Parallel.ForEach(di.GetFiles("*.jpg"), (fi) => { Compress(fi); });
        sw.Stop();

        Console.WriteLine("Parallel: " + sw.ElapsedMilliseconds);
        Console.ReadKey();
    }

    public static void Compress(FileInfo fi)
    {
        using (FileStream inFile = fi.OpenRead())
        {
            if ((File.GetAttributes(fi.FullName)
                & FileAttributes.Hidden)
                != FileAttributes.Hidden & fi.Extension != ".gz")
            {
                using (FileStream outFile =
                            File.Create(fi.FullName + ".gz"))
                {
                    using (GZipStream Compress =
                        new GZipStream(outFile,
                        CompressionMode.Compress))
                    {
                        inFile.CopyTo(Compress);
                    }
                }
            }
        }
    }
}

有关压缩代码,请参阅How to: Compress Files

票数 6
EN

Stack Overflow用户

发布于 2011-03-18 13:02:03

如果您在一台物理设备上移动文件,您不会看到向同一设备发出多个并行IO请求带来的性能优势。设备的运行速度已经比CPU慢了许多个数量级,因此并行发出的多个请求仍将排队等待在设备上逐个处理。您的并行代码正在被序列化,因为它们都在访问同一设备,而这些设备实际上不能同时处理多个请求。

如果您的磁盘控制器实现了“升降机寻道”、“分散-聚集”或其他无序操作,您可能会看到并行代码的性能有微小的提高,但性能差异将相对较小。

当您在许多不同的物理设备之间移动文件时,您会发现文件I/O的一个更有价值的性能差异。您应该能够将磁盘A上的文件移动或复制到磁盘A上的某个其他位置,同时还可以将磁盘B上的文件复制到磁盘C。对于许多物理设备,您不会让所有并行请求堆叠在一起,等待一个设备满足所有请求。

您可能会在网络I/O中看到类似的结果:如果所有东西都通过一个以太网卡/网段,您将不会像使用多个以太网卡和多个网段时实现那么多的并行性。

票数 1
EN

Stack Overflow用户

发布于 2011-03-18 11:47:18

我认为并行扩展在CPU操作上的优势是显著的。Donnu它是如何影响IO的。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/5347801

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档