基于tweepy的文本挖掘

Question

我已经使用tweepy收集了tweet，并且标记了它们并删除了停止词，但是当我使用json加载它们时，它会抛出以下错误

"File "C:\Python27\Projects\kik.py", line 26, in <module>
    tweet = json.loads(tokens)
  File "C:\Python27\lib\json\__init__.py", line 338, in loads
    return _default_decoder.decode(s)
  File "C:\Python27\lib\json\decoder.py", line 366, in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())
TypeError: expected string or buffer" 

请帮帮我。

tweets_data_path = 'c:\\Python27\\Projects\\newstweets.txt'
stopset = set(stopwords.words('english'))

tweets_data = []
tweets_file = open(tweets_data_path, "r")
text = tweets_file.read()
tokens=word_tokenize(str(text))
tokens = [w for w in tokens if not w in stopset]
tweet = json.loads(tokens)
tweets_data.append(tweet)

Answer 1

json.loads需要一个字符串，您正在尝试加载一个列表。

而不是：

tokens = [w for w in tokens if not w in stopset]

尝试：

tokens = str([w for w in tokens if not w in stopset])