我想知道下面的mapper和reducer函数有没有什么问题。它是Udacity数据科学入门课程中项目的一部分
def mapper():
dic={}
for line in sys.stdin:
data=line.strip().split(" ")
for i in data:
dic[i]=1
for key, value in dic.iteritems():
print key,'\t', value在这里,值是以字符串的形式输入的,其中单词之间用空格分隔,函数返回一个字典,将字符串中的每个单词作为“key”,并将1计数为“value”。
def reducer():
dic={}
for line in sys.stdin:
data=line.strip().split('\t')
if data[0] in dic.keys():
dic[data[0]]+=1
else:
dic[data[0]]=data[1]
for key, value in dic.iteritems():
print key,'\t',value在这里,值是以字符串的形式输入的,该字符串由用制表符分隔的单词和count 1组成。这两个函数的执行方式不同。我没有得到正确的输出。
发布于 2017-07-28 16:23:11
如果您告诉我们一些关于您期望的输出的信息会很有帮助,但是在dic[data[0]]=data[1]中,值data[1]是一个字符串,所以您不能向它添加一个像1这样的数字。
此外,reducer的要点当然是,当输入计数不总是1时,它可能会多次运行,您可能希望添加实际值,而不仅仅是递增。
def reducer():
dic=collections.defaultdict(int)
for line in sys.stdin:
key, value=line.strip().split('\t')
dic[key] += int(value)
for key, value in dic.iteritems():
print key,'\t',valuehttps://stackoverflow.com/questions/45368191
复制相似问题