php中使用foreach curl多个URL及多线程请求多个URL

在利用foreach语句循环图片URL,并通过CURL将所有图片进行本地保存的函数时 ,出现了只能采集到一个的问题。现将foreach和CURL结合进行多URL请求的方法进行下总如。

方法1:循环请求

$sr=array(url_1,url_2,url_3);
foreach ($sr as $k=>$v) {
    $curlPost=$v.'?f=传入参数';
    $ch = curl_init($curlPost) ;
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true) ; // 获取数据返回
    curl_setopt($ch, CURLOPT_BINARYTRANSFER, true) ; // 在启用 CURLOPT_RETURNTRANSFER 时候将获取数据返回
    $data = curl_exec($ch) ;
    echo $k.'##:'.$data.'
'; } curl_close($ch);

上面代码需要特别注意的是,curl_close 一定要放在foreach循环结束的外面,如果放在里面的话,就会出现我上面提到的多个IMGURL ,只能采集到一个URL的问题。

方法2:多线程循环

 url)
        {curl_array[i] = curl_init(url);
            curl_setopt(curl_array[i], CURLOPT_RETURNTRANSFER, true);
            curl_multi_add_handle(mh,curl_array[i]);
        }running = NULL;
        do {
            usleep(10000);
            curl_multi_exec(mh,running);
        } while(running > 0);res = array();
        foreach(nodes asi => url)
        {res[url] = curl_multi_getcontent(curl_array[i]);
        }
        foreach(nodes as i =>url){
            curl_multi_remove_handle(mh,curl_array[i]);
        }
        curl_multi_close(mh);
        return $res;
}
print_r(multi_threads_request(array(
    'http://www.163.com',
    'http://www.baidu.com',
));  

这里主要利用curl_multi_init()实现多个url 的请求,不过由于php自身并不支持多线程。所以伪多线程速度也不见得会比单线程快。

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注