python的深度复制比自定义代码更高效，还是更低的效率/可预测性？

Question

在这里，值是非嵌套列表(具体来说，键是ints，值是ints的列表)。我想把它做一份很深的副本，这样我就不会修改原始数据中的列表了。

我知道我可以用

copied = copy.deepcopy(original)

但是，由于我知道数据结构的形式，所以我也可以使用如下

copied = {key:valuelist[:] for (key,valuelist) in original.iteritems()}

这些解决方案中有一个更好吗？更有效率？不太可能带来令人讨厌的惊喜？

有人告诉我，“深度复制”()带来了一些难题，但我真的不明白是什么。我还想了解使用深度复制()是否比我的代码效率低(也许是因为它是一个更通用的解决方案？)或者更有效率(也许是在较低的水平上进行了优化？)

Answer 1

正如您可能预期的那样，copy.deepcopy比第二个解决方案慢得多：

$ python -m timeit "original = {x: range(10) for x in xrange(10)}; copy = {x: v[:] for x,v in original.iteritems()}"
100000 loops, best of 3: 5.41 usec per loop

$ python -m timeit "original = {x: range(1000) for x in xrange(1000)}; copy = {x: v[:] for x,v in original.iteritems()}"
100 loops, best of 3: 17.1 msec per loop

$ python -m timeit "import copy; original = {x: range(10) for x in xrange(10)}; c = copy.deepcopy(original)"
10000 loops, best of 3: 86.4 usec per loop

$ python -m timeit "import copy; original = {x: range(1000) for x in xrange(1000)}; c = copy.deepcopy(original)"
10 loops, best of 3: 1.4 sec per loop

deepcopy比dict理解+列表副本慢得多的原因是：

• deepcopy是一种多用途函数，它主要适用于任何类型的对象。
• deepcopy是在python中实现的，而dict理解和列表切片是在较低的级别完成的。

和最重要的

• deepcopy递归地复制容器中的元素，而您的dict理解不使用。

示例：

>>> import copy
>>> obj = object()
>>> original = {x: [obj] * 10 for x in xrange(10)}
>>> copy1 = {x:v[:] for x,v in original.iteritems()}
>>> copy2 = copy.deepcopy(original)
>>> copy1[0][0] is original[0][0]
True
>>> copy2[0][0] is original[0][0]
False

如您所见，deepcopy复制了包含在original中的obj，以便copy2列表包含它的副本，而不是obj本身。与dict理解不同的是，在创建新的list对象时保留了列表中的元素。

Answer 2

我使用了下面的代码，并得到了一些结果

import copy
import time

def go(loop):
    original = {x: [y for y in range(x)] for x in xrange(100)}
    print loop

    start = time.time()
    for x in xrange(loop):
        copied = copy.deepcopy(original)
    print 'deepcopy %ss' % (time.time() - start)

    start = time.time()
    for x in xrange(loop):
        copied = {k: v[:] for (k,v) in original.iteritems()}
    print 'custome  %ss' % (time.time() - start)

    print ''

for x in (100, 1000, 10000):
    go(x)


result

100
deepcopy 0.47200012207s
custome  0.00699996948242s

1000
deepcopy 4.69200015068s
custome  0.0620000362396s

10000
deepcopy 47.7449998856s
custome  0.677999973297s

显然，copy.deepcopy要糟糕得多。我认为它比自定义方法处理的更多。

Answer 3

我的建议是现在使用deepcopy，如果速度太慢，可以始终用自定义函数替换它。

如果你的dict真的很大，它可能会变慢，但是只要你不处理真正的大数据，我就不会太担心。