如何识别HTML树中语义相关但结构不相关的节点

Question

我面临着以下问题，因为Wiktionary上的HTML似乎是以一种方式布局的，即每种语言的部分实际上并不是支配相应部分中条目的节点。我只想从一些特定语言的部分抓取数据，比如英语。例如，我可能感兴趣的数据是跨度"IPA“：<span class="IPA" lang="">/dɒɡ/</span>，但是这个跨度会出现几次：

[<span class="IPA" lang="">/dɒɡ/</span>, <span class="IPA" lang="">/dɔɡ/</span>, <span class="IPA" lang="">/dɑɡ/</span>, <span class="IPA" lang="">-ɒɡ</span>, <span class="IPA" lang="">/ˈdɔɡ/</span>, <span class="IPA" lang="">/ˈdɔ.ɡi/</span>, <span class="IPA" lang="">[doɡ]</span>]

但只有一项属于英语部分。然而，标记英语部分(<span class="mw-headline" id="English">English</span>)的跨度不是IPA-span节点的前置节点，因此不清楚如何基于HTML解析收集正确的数据，正如我目前所尝试的那样：

from bs4 import BeautifulSoup
import requests
from sys import argv

def find_IPA(
    r = requests.get('https://en.wiktionary.org/wiki/'+word)
    content = r.content
    soup = BeautifulSoup(content.decode('utf-8','ignore'),'lxml')
    print (soup.findAll('span', {'class' : "IPA"}))


if __name__ == '__main__':
    try:
        find_IPA(argv[1])
    except Exception as e:
        print(format(e))

那么，有没有更好的方法来处理像这样的HTML文件中语义相关性和结构相关性分离的情况？

(示例比特来自此page> https://en.wiktionary.org/wiki/dog)

Answer 1

因为在超文本标记语言中没有结构，部分是扁平的，没有DOM层次结构，一种选择是选择“English”标头，然后迭代所有下一个兄弟元素，直到遇到另一个包含.mw-headline标头的h2元素。

这样做，实际上就是选择了“English”部分中的所有兄弟元素。

在那里，您可以选择所有需要的.IPA元素。

english_header = soup.find('span', {'id': 'English', 'class': 'mw-headline'})

if english_header:
    next_sibling = english_header.parent.find_next_sibling()

    while next_sibling and not (next_sibling.name == 'h2' and next_sibling.select('.mw-headline')):
        for element in next_sibling.select('.IPA'):
            print(element)

        next_sibling = next_sibling.find_next_sibling()