这篇文章主要介绍了php使用curl_init()和curl_multi_init()多线程的速度比较,结合实例形式详细分析了curl_init()和curl_multi_init()的具体使用方法及相关效率比较,需要的朋友可以参考下
本文实例讲述了PHP使用curl_init()和curl_multi_init()多线程的速度比较。分享给大家供大家参考,具体如下:
PHP中curl_init()的作用很大,尤其是在抓取网页内容或文件信息的时候,例如之前文章《》就介绍到curl_init()的强大。
curl_init()处理事物是单线程模式,如果需要对事务处理走多线程模式,那么php里提供了一个函数curl_multi_init()给我们,这就是多线程模式处理事务的函数。
curl_init()
与curl_multi_init()
的速度比较
curl_multi_init()
多线程能提高网页的处理速度吗?今天我通过实验来验证一下这个问题。
今天我的测试很简单,那就是要抓取curl_init()和curl_multi_init()
函数来完成,记录两者的耗时,比较得出结论。
首先,用curl_init()
单线程连续抓5次
程序代码如下:
";
for($i=1; $i<=5; $i++){
$szUrl = 'http://www.webkaka.com/';
$curl = curl_init();
curl_setopt($curl,CURLOPT_URL,$szUrl);
curl_setopt($curl,CURLOPT_HEADER,0);
curl_setopt($curl,CURLOPT_RETURNTRANSFER,1);
curl_setopt($curl,CURLOPT_ENCODING,'');
$data=curl_exec($curl);
echo $data;
echo "
";
$mtime_ = explode(" ",microtime());
$mtime_ = $mtime_[1].($mtime_[0] * 1000);
$mtime2_ = explode(".",$mtime_);
$mtime_ = $mtime2_[0];
echo $mtime_;
echo "
";
echo $mtime_ - $mtime;
}
?>
然后,用curl_multi_init()
多线程连续抓5次
代码如下:
";
$mtime = explode(" ",$mtime);
$mtime = $mtime2[0];
echo $mtime;
echo "
";
$urls = array(
'http://www.webkaka.com','http://www.webkaka.com','http://www.webkaka.com');
print_r(async_get_url($urls)); // [0] => example1,[1] => example2
echo "
";
echo date("Y-m-d H:m:s",time());
echo " ";
echo floor(microtime()*1000);
echo "
";
$mtime_ = explode(" ",$mtime_);
$mtime_ = $mtime2_[0];
echo $mtime_;
echo "
";
echo $mtime_ - $mtime;
function async_get_url($url_array,$wait_usec = 0)
{
if (!is_array($url_array))
return false;
$wait_usec = intval($wait_usec);
$data = array();
$handle = array();
$running = 0;
$mh = curl_multi_init(); // multi curl handler
$i = 0;
foreach($url_array as $url) {
$ch = curl_init();
curl_setopt($ch,$url);
curl_setopt($ch,1); // return don't print
curl_setopt($ch,CURLOPT_TIMEOUT,30);
curl_setopt($ch,CURLOPT_USERAGENT,'Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)');
curl_setopt($ch,CURLOPT_FOLLOWLOCATION,1); // 302 redirect
curl_setopt($ch,CURLOPT_MAXREDIRS,7);
curl_multi_add_handle($mh,$ch); // 把 curl resource 放进 multi curl handler 里
$handle[$i++] = $ch;
}
/* 执行 */
do {
curl_multi_exec($mh,$running);
if ($wait_usec > 0) /* 每个 connect 要间隔多久 */
usleep($wait_usec); // 250000 = 0.25 sec
} while ($running > 0);
/* 读取资料 */
foreach($handle as $i => $ch) {
$content = curl_multi_getcontent($ch);
$data[$i] = (curl_errno($ch) == 0) ? $content : false;
}
/* 移除 handle*/
foreach($handle as $ch) {
curl_multi_remove_handle($mh,$ch);
}
curl_multi_close($mh);
return $data;
}
?>
为了避免随机性,我分别测了5次(用CTRL+F5强行刷新的方式),数据如下:
curl_init():
curl_multi_init():
从测试结果来看,我们发现两种方法的耗时差不了太多,只有700多毫秒。很多人原本以为多线程比单线程耗时会短很多,实际上并不是这样的,从数据来看,多线程反而比单线程耗时更多了一点。不过,对于某些事务来说,用多线程来处理不一定是为了追求速度,这个是需要注意的。
关于curl_multi_init()
一般来说,想到要用curl_multi_init()
时,目的是要同时请求多个url,而不是一个一个依次请求,否则就要curl_init()
了。
不过,在使用curl_multi的时候,你可能遇到cpu消耗过高、网页假死等现象,可以看看《》
使用curl_multi的步骤总结如下:
- 第一步:调用
curl_multi_init
- 第二步:循环调用
curl_multi_add_handle
- 这一步需要注意的是,
curl_multi_add_handle
的第二个参数是由curl_init而来的子handle。
- 第三步:持续调用
curl_multi_exec
- 第四步:根据需要循环调用
curl_multi_getcontent
获取结果
- 第五步:调用
curl_multi_remove_handle
,并为每个字handle调用curl_close
- 第六步:调用
curl_multi_close
各函数作用解释:
curl_multi_init()
初始化一个curl批处理句柄资源。
curl_multi_add_handle()
向curl批处理会话中添加单独的curl句柄资源。
curl_multi_add_handle()
函数有两个参数,第一个参数表示一个curl批处理句柄资源,第二个参数表示一个单独的curl句柄资源。
curl_multi_exec()
解析一个curl批处理句柄,
curl_multi_exec()
函数有两个参数,第一个参数表示一个批处理句柄资源,第二个参数是一个引用值的参数,表示剩余需要处理的单个的curl句柄资源数量。
curl_multi_remove_handle()
移除curl批处理句柄资源中的某个句柄资源,
curl_multi_remove_handle()
函数有两个参数,第一个参数表示一个curl批处理句柄资源,第二个参数表示一个单独的curl句柄资源。
curl_multi_close()
关闭一个批处理句柄资源。
curl_multi_getcontent()
在设置了
CURLOPT_RETURNTRANSFER
的情况下,返回获取的输出的文本流。
curl_multi_info_read()
获取当前解析的curl的相关传输信息。
实例
请看本文里async_get_url()
的写法。
更多关于PHP相关内容感兴趣的读者可查看本站专题:《》、《》、《》、《》、《》及《》
希望本文所述对大家PHP程序设计有所帮助。