我需要一种从网页上获取信息的方法。这些信息存储在<script>标签中,我找不到提取它的方法。下面是我使用的代码的最后一次迭代。
for link in urls:
driver.get(link)
#print(driver.title)
content = driver.page_source
soup = BeautifulSoup(content, features="html.parser")
for a in soup.findAll(string=['script', "EM.", "productFullPrice"]):
print (a)
name=a.find(string=['EM.sef_name'])
print(name);print(a)和print(name)不返回任何内容。
我想要抓取的源代码如下所示:
<script type="text/javascript">
var EM = EM || {};
EM.CDN = 'link1';
EM.something = value; 发布于 2019-10-28 08:51:49
如果你想要标签内的文本,你不能简单地将'EM‘传递给string标签,因为它正在寻找一个与'EM’完全匹配的字符串。这也意味着它也不会与script标记匹配,只会在标记内部查找字符串script。要获取节点,需要将script作为节点传递给findAll函数。如果你看一下脚本标记之间的文本值,它看起来像这样的"\n var EM = EM || {};\n EM.CDN = 'link1';\n EM.something = value; \n "。所以它不会找到EM,因为EM不等于我上面发布的字符串。有几种方法可以解决这个问题,这里是我选择的一种方法来帮助返回与您发布的值相似的值:
import bs4
html_string = '''
<script type="text/javascript">
var EM = EM || {};
EM.CDN = 'link1';
EM.something = value;
</script>
'''
wanted_strings= string=["EM.", "productFullPrice"]
soup = bs4.BeautifulSoup(html_string, features="html.parser")
wanted=[]
test = soup.findAll('script')
for word in wanted_strings:
for tag in test:
if word in tag.text:
wanted.append(tag)
wanted然后,它将为您提供如下列表中的脚本行以及包含所需字符串的标记
[<script type="text/javascript">
var EM = EM || {};
EM.CDN = 'link1';
EM.something = value;
</script>]另一种方法是查找标记,然后将每一行代码放在一个列表中
import bs4
html_string = '''
<script type="text/javascript">
var EM = EM || {};
EM.CDN = 'link1';
EM.something = value;
</script>
'''
soup = bs4.BeautifulSoup(html_string, features="html.parser")
test = soup.findAll('script')
blah = [x.strip() for x in test[0].text.split('\n') if x.strip()]
blah这使您可以更容易地根据您的用例搜索所需的内容
['var EM = EM || {};', "EM.CDN = 'link1';", 'EM.something = value;']https://stackoverflow.com/questions/58584481
复制相似问题