我正在运行一段代码,它从txt文件中获取输入,使用该输入来抓取一个tor网页,然后给出一个名为result的字符串列表。我正在使用tbselenium模块。我需要将这个列表写入到两个输出文件valid.txt和address.txt中,当我运行脚本时,我得到了结果(一个字符串列表),但是没有任何内容写入这两个输出文件中。没有出现错误,两个函数中的print语句可以很好地工作。已成功读取输入
from tbselenium.tbdriver import TorBrowserDriver
import requests
import time
import pandas as pd
def read_input():
with open('Entries.txt') as fp:
users = fp.readlines()
return users
users = read_input()
result = some_function(users) # This function scrapes the webpage using selenium
def write_output(result):
with open('valid.txt', 'a+') as fw:
fw.writelines(result)
print('Writing to valid.txt', result)
def write_addr(result):
with open('address.txt', 'a+') as fw:
for x in result:
fw.write(x.split(':')[5]+'\n')
print('Writing to address.txt')
write_output(result)
write_addr(result)然后,我尝试将相同的输出写入csv文件。
df = pd.DataFrame(result)
print(df)
df.to_csv('valid.csv', mode='a', header=False)将创建dataFrame,但不会将任何内容写入csv文件。如果我还没有在我的文件夹中创建它,它甚至不会被创建。如果我不运行抓取函数并尝试将某些内容写入输出文件,那么它就可以工作。
发布于 2020-07-14 17:26:16
import pandas as pd
def write_output(result):
with open('valid.txt', 'a+') as fw:
fw.writelines(result)
print('Writing to valid.txt', result)
def write_addr(result):
with open('address.txt', 'a+') as fw:
for x in result:
fw.write(x.split(':')[5]+'\n')
print('Writing to address.txt')
result = ['I am :scrap:ed d:ata:from tor wit:h add:ress:es\n', 'I am :scrap:ed d:ata:from tor wit:h add:ress:es\n', 'I am :scrap:ed d:ata:from tor wit:h add:ress:es\n']
write_output(result)
write_addr(result)
df = pd.DataFrame(result)
print(df)
df.to_csv('valid.csv', mode='a', header=False)我没有发现您的代码有任何问题(至少您用来创建valid.txt、addrress.txt和valid.csv的编写函数没有问题)。我已经用我自己的虚拟结果测试了你的代码。从附加的图像中可以看出,已成功创建了相应的文件。我怀疑错误可能来自您的结果列表。您还应该检查以确保拆分后的第5个索引(‘:’)不是空格字符,并注意文件将在打开python脚本的目录中创建(以防您在错误的目录中查找文件)。除此之外,只要你的web抓取函数返回你的结果,你想要的函数应该可以正常运行。干杯

发布于 2020-07-14 18:01:28
解决了。在运行selenium驱动程序时,它会将当前工作目录更改为tor浏览器所在的目录,因此所有文件都保存在该目录中。
https://stackoverflow.com/questions/62891264
复制相似问题