Взимане на всички url адреси на продукти от joomla

Идеята от сайт с joomla да експортирам данните в друг сайт. От админ панела спрях friendly url-тата и видях, че тия продукти са с item_id=212 , продуктите от базата(и самия сайт, че има броячт които се вижда)  видях, че са около 350 и затова слагам нацелване до 10 000 🙂 след като видя, че има голяма поредица неуспешни го спирам 🙂 и така събирам всичките на 100% 🙂

root@gama:# cat joomla_get_products.php
<?php
$myFile = "products_url.txt";
$fh = fopen($myFile, 'a') or die("can't open file");

$ch1=curl_init();

for ($i=1;$i<=10000;$i++)
{
$url="http://www.site.bg/index.php?option=com_mtree&task=viewlink&link_id=$i&Itemid=212";
curl_setopt($ch1,CURLOPT_URL,"$url");
curl_setopt($ch1,CURLOPT_CONNECTTIMEOUT,20);
curl_setopt($ch1,CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch1, CURLOPT_TIMEOUT, 30);
curl_setopt($ch1, CURLOPT_REFERER,"");
curl_setopt($ch1, CURLOPT_USERAGENT,"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)");
curl_setopt($ch1, CURLOPT_FOLLOWLOCATION, 1);
$buf = curl_exec($ch1);

$buf=preg_replace('#\r?\n#', ' ', $buf);$buf = preg_replace('/\s\s+/', ' ', $buf);

preg_match_all("/<title>(.*?)<\/title>/",$buf,$matches);
$error=$matches[1][0];

if ($error=="404 -- Страницата не е намерена")
{
echo "Error: $i\n";
}
else
{
echo "$url\n";
fwrite($fh, "$url\n");
};
};//End of for ($i=1;$i<=10000;$i++)

?>

VN:F [1.9.22_1171]
Rating: 5.0/5 (1 vote cast)
VN:F [1.9.22_1171]
Rating: +1 (from 1 vote)
Взимане на всички url адреси на продукти от joomla, 5.0 out of 5 based on 1 rating

Вашият коментар

Вашият email адрес няма да бъде публикуван Задължителните полета са отбелязани с *