Идеята от сайт с joomla да експортирам данните в друг сайт. От админ панела спрях friendly url-тата и видях, че тия продукти са с item_id=212 , продуктите от базата(и самия сайт, че има броячт които се вижда) видях, че са около 350 и затова слагам нацелване до 10 000 :) след като видя, че има голяма поредица неуспешни го спирам :) и така събирам всичките на 100% :)
root@gama:# cat joomla_get_products.php
<?php
$myFile = "products_url.txt";
$fh = fopen($myFile, 'a') or die("can't open file");
$ch1=curl_init();
for ($i=1;$i<=10000;$i++)
{
$url="http://www.site.bg/index.php?option=com_mtree&task=viewlink&link_id=$i&Itemid=212";
curl_setopt($ch1,CURLOPT_URL,"$url");
curl_setopt($ch1,CURLOPT_CONNECTTIMEOUT,20);
curl_setopt($ch1,CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch1, CURLOPT_TIMEOUT, 30);
curl_setopt($ch1, CURLOPT_REFERER,"");
curl_setopt($ch1, CURLOPT_USERAGENT,"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)");
curl_setopt($ch1, CURLOPT_FOLLOWLOCATION, 1);
$buf = curl_exec($ch1);
$buf=preg_replace('#\r?\n#', ' ', $buf);$buf = preg_replace('/\s\s+/', ' ', $buf);
preg_match_all("/<title>(.*?)<\/title>/",$buf,$matches);
$error=$matches[1][0];
if ($error=="404 -- Страницата не е намерена")
{
echo "Error: $i\n";
}
else
{
echo "$url\n";
fwrite($fh, "$url\n");
};
};//End of for ($i=1;$i<=10000;$i++)
?>
VN:F [1.9.22_1171]
Rating: 5.0/5 (1 vote cast)
VN:F [1.9.22_1171]