用lxml的iterparse抓取<title>标签
用lxml的iterparse抓取<title>标签
提问于 2012-04-24 09:16:59
在我的超文本标记语言中使用lxml的iterparse时遇到了一个问题。我正在尝试获取<title>的文本，但这个简单的函数不适用于完整的网页：
def get_title(str):
titleIter = etree.iterparse(StringIO(str), tag="title")
try:
for event, element in titleIter:
return element.text
# print "Script goes here when it doesn't work"
except etree.XMLSyntaxError:
return None这个函数在像"<title>test</title>“这样的简单输入上工作得很好，但是当我给它一个完整的页面时，它无法提取标题。
更新:以下是我正在使用的HTML：
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html dir="ltr" lang="it" xmlns="http://www.w3.org/1999/xhtml">
<head>
<link rel="icon" href="http://www.tricommerce.it/tricommerce.ico" />
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1" />
<title>Tricommerce - Informazioni sulla privacy</title>
<meta name="description" content="Info sulla privacy" />
<meta name="keywords" content="Accessori notebook Alimentatori Case Cavi e replicatori Controllo ventole Lettori e masterizzatori Modding Pannelli & display Dissipatori Tastiere e mouse Ventole Griglie e filtri Hardware Accessori vari Box esterni Casse e cuffie Sistemi a liquido Paste termiche vendita modding thermaltake vantec vantecusa sunmbeam sunbeamtech overclock thermalright xmod aerocool arctic cooling arctic silver zalman colorsit colors-it sharkoon mitron acmecom Info sulla privacy" />
<meta name="robots" content="index, follow" />
<link rel="stylesheet" href="http://www.tricommerce.it/css/tricommerce.css" />
<link rel="stylesheet" href="css/static.css" />
<script type="text/javascript" src="http://www.tricommerce.it/javascript/vertical_scroll.js"></script>
<script type="text/javascript">
//<![CDATA[
function MM_preloadImages() { //v3.0
var d=document; if(d.images){ if(!d.MM_p) d.MM_p=new Array();
var i,j=d.MM_p.length,a=MM_preloadImages.arguments; for(i=0; i<a.length; i++)
if (a[i].indexOf("#")!=0){ d.MM_p[j]=new Image; d.MM_p[j++].src=a[i];}}
}
//]]>
</script>
<link rel="stylesheet" type="text/css" href="http://www.tricommerce.it/css/chromestyle.css" />
<script type="text/javascript" src="http://www.tricommerce.it/javascript/chrome.js">
/***********************************************
* AnyLink CSS Menu script- ? Dynamic Drive DHTML code library (www.dynamicdrive.com)
* This notice MUST stay intact for legal use
* Visit Dynamic Drive at http://www.dynamicdrive.com/ for full source code
***********************************************/
</script>
</head>
</html>另外，快速说明一下我使用iterparse的原因--这是因为我不想仅仅为了在文档的早期获得单个标记而加载整个DOM。
回答 1
Stack Overflow用户
回答已采纳
发布于 2012-04-24 09:40:08
您可能希望至少发布您实际尝试解析的数据的一部分。如果没有这些信息，这里只是一个猜测。如果<html>元素定义了默认的XML名称空间，则在查找元素时需要使用该名称空间。例如，看看这个简单的文档：
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.1//EN"
"http://www.w3.org/TR/xhtml11/DTD/xhtml11.dtd">
<html xmlns="http://www.w3.org/1999/xhtml"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://www.w3.org/MarkUp/SCHEMA/xhtml11.xsd"
xml:lang="en">
<head>
<title>Document Title</title>
</head>
<body>
</body>
</html>给定此输入，以下代码将不返回任何结果：
>>> doc = etree.parse(open('foo.html'))
>>> doc.xpath('//title')
[]这会失败，因为我们查找<title>元素时没有指定没有名称空间的namespace...and，解析器不会找到匹配的(因为foo:title不同于bar:title，假设foo:和bar:是定义的XML名称空间)。
您可以显式地将名称空间与ElementTree接口一起使用，如下所示：
>>> doc.xpath('//html:title',
... namespaces={'html': 'http://www.w3.org/1999/xhtml'})
[<Element {http://www.w3.org/1999/xhtml}title at 0x1087910>]这就是我们的对手。
您也可以将名称空间前缀传递给iterparse的tag参数：
>>> titleIter = etree.iterparse(StringIO(str),
... tag='{http://www.w3.org/1999/xhtml}title')
>>> list(titleIter)
[(u'end', <Element {http://www.w3.org/1999/xhtml}title at 0x7fddb7c4b8c0>)]如果这不能解决您的问题，请发布一些示例输入，我们将从那里开始工作。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/10290507
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号