使用Spark的大数据分析

Question

如何修复此错误？我在执行最后一个单元格时出错，我在哪里出错了？它和我的程序版本有关系吗？或者类似的东西？

enter image description here

def count_examples(Data):
count = Data.map(lambda labelPoint: (labelPoint.label,1)).reduceByKey(lambda x,y: x+y)
return count.collect()

counts = count_examples(Data)

counts3 = count_examples(sc.parallelize(Data.take(3)))

assert type(counts3) == list, 'Incorrect return type'
assert type(counts3[0]) == tuple, 'Incorrect return type'
assert type(counts3[0][0]) == float, 'Incorrect return type'
assert type(counts3[0][1]) == int, 'Incorrect return type'

assert counts3[0][0] == 5.0, 'Incorrect return value'
assert counts3[0][1] == 2, 'Incorrect return value'

AssertionError                            Traceback (most recent call last)
<ipython-input-24-9c21c32429c5> in <module>()
----> 1 assert counts3[0][0] == 5.0, 'Incorrect return value'
      2 assert counts3[0][1] == 2, 'Incorrect return value'

AssertionError: Incorrect return value

Answer 1

这不是一个错误，而是一个断言失败。基本上，这里发生的情况是存储在counts3[0][0]中的值不等于5.0

您可以通过两个步骤轻松地解决此问题

1. 知道期望值，因此只需更改代码以断言counts3 == 5.0，f“返回值不正确，实际为{counts3}"

运行此代码时，它将再次失败，但会输出确切的期望值

1. 将断言中的值更改为上述步骤中的预期值