返回部分文本的Scrapy选择器

Question

我在p标记中有一些文本，其中可能包含像em这样的附加标记。当我将以下文本传递给parsel XPath选择器并请求第一个p标记时，它会返回部分字符串。

  from parsel import Selector

  selector = Selector(text="<div><p>Hel<em>l</em>o</p><p>World!</p></div>")

  for p in selector.xpath('(//div//p//extract())[1]'):
    print(p.get())

代码返回的输出为

Hel，而预期的输出是hello，那么我在这里做错了什么？

Answer 1

我相信你正在寻找这样的东西：

from parsel import Selector

selector = Selector(text="<div><p>Hel<em>l</em>o</p><p>World!</p></div>")

for p in selector.xpath('//div/p[1]/descendant-or-self::*/text()'):
  print(p.get())

# OR
print("".join([x.get() for x in selector.xpath('//div/p[1]/descendant-or-self::*/text()')]))

根据您要完成的任务，您可能希望避免在xpath中使用双斜杠。请参阅Working with relative XPaths