AAA Главная
Примеры PHP Примеры JavaScript Примеры Ajax Примеры CSS,HTML

Мультипоточное скачивание из сети с использованием curl на PHP

В стандартной библиотеке CURL, есть набор функций curl_multi_*, как раз и предназначенных для одновременного скачивания данных с нескольких адресов.

Пример использования curl_multi:
function multi_request($urls)
{
  $curly = [];
  $result = [];
  $mh = curl_multi_init();

  foreach ($urls as $id => $url) {
    $curly[$id] = curl_init();
    curl_setopt($curly[$id], CURLOPT_URL, $url);
    curl_setopt($curly[$id], CURLOPT_HEADER, 0);
    curl_setopt($curly[$id], CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($curly[$id], CURLOPT_TIMEOUT, 30);
    curl_setopt($curly[$id], CURLOPT_FOLLOWLOCATION, true);
    curl_setopt($curly[$id], CURLOPT_SSL_VERIFYPEER, 0);
    curl_setopt($curly[$id], CURLOPT_SSL_VERIFYHOST, 0);
    curl_setopt($curly[$id], CURLOPT_USERAGENT,"Mozilla/5.0(Windows;U;WindowsNT5.1;ru;rv:1.9.0.4)Gecko/2008102920AdCentriaIM/1.7Firefox/3.0.4");
    //curl_setopt($curly[$id], CURLOPT_COOKIEJAR,'cookies.txt');
    //curl_setopt($curly[$id], CURLOPT_COOKIEFILE,'cookies.txt');
    curl_multi_add_handle($mh, $curly[$id]);
  }

  $running = null;
  do {
    curl_multi_exec($mh, $running);
  } while($running > 0);

  foreach($curly as $id => $c) {
    $result[$id] = curl_multi_getcontent($c);
    curl_multi_remove_handle($mh, $c);
  }
  curl_multi_close($mh);
  return $result;
}

В данную функцию нужно передавать массив url. Вернется же массив HTML-кодов страниц по заданным url.


.

© Copyright 2008-2017 by KDG