我试图刮一个网站使用PHP,卷曲和POST的方法,以便提交一个表单,然后网页抓取的页面。我遇到的问题是使用POST方法连接:没有数据提交到服务器,所以抓取的网页不包含我正在寻找的内容。
我确定问题与表单类型有关: enctype="multipart/ form -data“。考虑到表单是多部分/表单数据,我如何管理这个POST请求?我必须以一种特殊的方式对post_string进行编码吗?
下面是我使用的代码:
function curl($url) {
//POST string
$post_string="XXXX";
$options = Array(
CURLOPT_RETURNTRANSFER => TRUE,
CURLOPT_FOLLOWLOCATION => TRUE,
CURLOPT_AUTOREFERER => TRUE,
CURLOPT_CONNECTTIMEOUT => 120,
CURLOPT_TIMEOUT => 120,
CURLOPT_MAXREDIRS => 10,
CURLOPT_USERAGENT => "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.1a2pre) Gecko/2008073000 Shredder/3.0a2pre ThunderBrowse/3.2.1.8",
CURLOPT_URL => $url,
CURLOPT_CAINFO => dirname(__FILE__)."/cacert.pem",
CURLOPT_POSTFIELDS => $post_string,
);
$ch = curl_init();
curl_setopt_array($ch, $options);
$data = curl_exec($ch);
curl_error($ch);
curl_close($ch);
return $data;
}
$scraped_page = curl("XXXURLXXX");
echo $scraped_page; 谢谢!
发布于 2014-02-26 17:52:10
将CURLOPT_POST设置为true:
CURLOPT_POST = true然后像这样填写你的帖子字段'setup':
$postfields = array();
$postfields['field1'] = 'value1';
$postfields['field2'] = 'value2';
CURLOPT_POSTFIELDS => $postfields如果value为数组,则Content-Type头部将设置为multipart/form-data。
The PHP manual
发布于 2014-02-26 17:55:15
是的,$post_string需要是一个数组。
还要将CURLOPT_POST设置为true。
https://stackoverflow.com/questions/22037448
复制相似问题