使用portia (scrapy)从网站中提取Meta标签

Question

使用portia (scrapy)从网站中提取Meta标签

我想使用portia从一些网站中提取元标签，但它没有显示头部标签，它只是从主体标签开始

我只能从body标签中提取数据

Answer 1

您需要在body中注释一个元素，然后导航到head中要映射的元素。

1. 注释页面上的元素，无论是哪个元素都无关紧要。
2. 单击注释弹出窗口中的设置图标或右侧工具箱的注释面板中的设置图标。
3. 单击html元素。您将收到一条警告，提示您将丢失批注的所有映射属性，请单击OK。再次单击设置图标，这次再次选择head.
4. Once
5. head图标，您可以在已选择元素的字段中选择子元素，单击+ Field按钮创建一个新字段，然后将所需属性值映射到目标字段。

另请参阅：https://github.com/scrapinghub/portia/issues/60

Answer 2

您可以将以下内容用于元名称：

meta_name = hxs.select('//meta/@name').extract()

元内容是这样的：

meta_content = hxs.select('//meta/@content').extract()

对于具有特定名称的元的内容，如description：

meta = hxs.select('//meta[@name=\'description\']/@content').extract()