对于一个公司项目,我需要用PHP和JavaScript (包括jQuery)创建一个web抓取应用程序,它将从我们客户的网站的每个页面提取特定的数据。抓取应用程序需要为每个页面获取两种类型的数据: 1)确定是否存在具有特定ID的某些HTML元素,以及2)提取特定JavaScript变量的值。JS变量名在每个页面上是相同的,但值通常是不同的。
我相信我知道如何获得第一个数据需求:使用PHP ()函数获取每个页面的file_get_contents,然后使用JavaScript/jQuery解析该HTML并搜索具有特定ID的元素。但是,我不确定如何获取第二部分数据- JavaScript变量值。甚至在每个页面的JavaScript中都找不到该变量;相反,它可以在链接到该页面的外部JavaScript文件中找到。即使JavaScript嵌入到页面的超文本标记语言中,我知道file_get_contents()也只会提取JavaScript代码(和其他超文本标记语言),而不会提取任何变量值。
有没有人能推荐一种好的方法来为给定网站的每个页面获取这个变量值?
编辑:为了清楚起见,我需要在JavaScript代码运行后获得JavaScript变量的值。这样的事情有可能发生吗?
发布于 2011-05-11 04:51:13
大概这是不可能的,因为它看起来很简单,但是如果您要检测的是您的.js,为什么不让.js做一些可以通过抓取页面来检测的事情呢?
使用js在某个地方填充类似这样的标记(可能是通过element.innerHTML ):
<span><!--Important js thing has been activated!--></span>. 编辑:或者,如果脚本需要在加载时可检测,则可以使用document.write
发布于 2011-05-11 05:40:07
您说在JS执行之后需要变量的值。我假设它总是相同的JS,只是初始变量值发生了变化。最好的办法是将JS移植到PHP,PHP允许您提取初始JS变量值,然后假装执行了JS。
下面是一个从JavaScript中提取变量值的函数:
/**
* extracts a variable value given its name and type. makes certain assumptions about the source,
* i.e. can't handle strings with escaped quotes.
*
* @param string $jsText the JavaScript source
* @param string $name the name of the variable
* @param string $type the variable type, either 'string' (default), 'float' or 'int'
* @return string|int|float the extracted variable value
*/
function extractVar($jsText, $name, $type = 'string') {
if ($type == 'string') {
$valueMatch = "(\"|')(.*?)(\"|')";
} else {
$valueMatch = "([0-9.]+?)";
}
preg_match("/$name\s*\=\s*$valueMatch/", $jsText, $matches);
if ($type == 'string') {
return $matches[2];
} else if ($type == 'float') {
return (float)$matches[1];
} else if ($type == 'int') {
return (int)$matches[1];
} else {
return false;
}
}发布于 2011-05-11 02:56:41
你不能使用一个js脚本发送给你的客户端,然后这个脚本把信息发送到你的服务器吗?
https://stackoverflow.com/questions/5951395
复制相似问题