首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >“>不能从<script type=”文本/javascript“>中提取信息

问“>不能从<script type=”文本/javascript“>中提取信息
EN

Stack Overflow用户
提问于 2019-10-28 08:13:58
回答 1查看 116关注 0票数 0

我需要一种从网页上获取信息的方法。这些信息存储在<script>标签中,我找不到提取它的方法。下面是我使用的代码的最后一次迭代。

代码语言:javascript
复制
for link in urls:
    driver.get(link)
    #print(driver.title)
    content = driver.page_source
    soup = BeautifulSoup(content, features="html.parser")
    for a in soup.findAll(string=['script', "EM.", "productFullPrice"]):
        print (a)
        name=a.find(string=['EM.sef_name'])
        print(name);

print(a)和print(name)不返回任何内容。

我想要抓取的源代码如下所示:

代码语言:javascript
复制
 <script type="text/javascript">
        var EM = EM || {};
        EM.CDN = 'link1';
        EM.something = value; 
EN

回答 1

Stack Overflow用户

发布于 2019-10-28 08:51:49

如果你想要标签内的文本,你不能简单地将'EM‘传递给string标签,因为它正在寻找一个与'EM’完全匹配的字符串。这也意味着它也不会与script标记匹配,只会在标记内部查找字符串script。要获取节点,需要将script作为节点传递给findAll函数。如果你看一下脚本标记之间的文本值,它看起来像这样的"\n var EM = EM || {};\n EM.CDN = 'link1';\n EM.something = value; \n "。所以它不会找到EM,因为EM不等于我上面发布的字符串。有几种方法可以解决这个问题,这里是我选择的一种方法来帮助返回与您发布的值相似的值:

代码语言:javascript
复制
import bs4
html_string = '''
 <script type="text/javascript">
        var EM = EM || {};
        EM.CDN = 'link1';
        EM.something = value; 
 </script>
'''
wanted_strings= string=["EM.", "productFullPrice"]
soup = bs4.BeautifulSoup(html_string, features="html.parser")
wanted=[]
test = soup.findAll('script')
for word in wanted_strings:
    for tag in test:
        if word in tag.text:
            wanted.append(tag)
wanted

然后,它将为您提供如下列表中的脚本行以及包含所需字符串的标记

代码语言:javascript
复制
[<script type="text/javascript">
         var EM = EM || {};
         EM.CDN = 'link1';
         EM.something = value; 
  </script>]

另一种方法是查找标记,然后将每一行代码放在一个列表中

代码语言:javascript
复制
import bs4
html_string = '''
 <script type="text/javascript">
        var EM = EM || {};
        EM.CDN = 'link1';
        EM.something = value; 
 </script>
'''
soup = bs4.BeautifulSoup(html_string, features="html.parser")
test = soup.findAll('script')
blah = [x.strip() for x in test[0].text.split('\n') if x.strip()]
blah

这使您可以更容易地根据您的用例搜索所需的内容

代码语言:javascript
复制
['var EM = EM || {};', "EM.CDN = 'link1';", 'EM.something = value;']
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/58584481

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档