我使用lxml来清理html数据,但在某些情况下,lxml也会删除有效的标签。它删除具有有效主机但以双斜杠(//)开头的iframe标记
代码示例:
>>> cleaner = Cleaner(host_whitelist=['www.youtube.com'])
>>> iframe = '<iframe src="//www.youtube.com/embed/S2S5I5GHkDQ"></iframe>'
>>> cleaner.clean_html(iframe)
'<div></div>'但是对于普通的urls (没有双斜杠),它工作得很好
>>> cleaner = Cleaner(host_whitelist=['www.youtube.com'])
>>> iframe = '<iframe src="https://www.youtube.com/embed/S2S5I5GHkDQ"></iframe>'
>>> cleaner.clean_html(iframe)
'<iframe src="https://www.youtube.com/embed/S2S5I5GHkDQ"></iframe>'为了让lxml理解它是有效的URL,我必须做什么?
谢谢。
发布于 2016-11-20 03:27:37
如果您查看文档中的Cleaner (http://lxml.de/3.4/api/lxml.html.clean.Cleaner-class.html),就会发现默认情况下这些参数设置为True:
embedded:
Removes any embedded objects (flash, iframes)
frames:
Removes any frame-related tags所以我的第一反应就是试试cleaner = Cleaner(host_whitelist=['www.youtube.com'], embedded=False)
https://stackoverflow.com/questions/40686475
复制相似问题