fsockopen и Google

[Reaver]

fsockopen и Google

есть скрипт который скачивает страницу гугла

скачиваю через fsockopen, так вот заметил интересную особенность что скаченная страница другая чем истинная (нет некоторых функций javascript да и текст отличается техническими тегами) подскажите в чем может быть проблема?

пример кода:

$fp = fsockopen("www.google.com", 80, $errno, $errstr, 300); 
if (!$fp) { 
   echo "$errstr ($errno)<br />\n"; 
} else { 
   $out = "GET /search?ie=windows-1251&q=%D1%82%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5   HTTP/1.1\r\n"; 
   $out .= "Host: [url]www.google.com\r\n[/url]"; 
   $out .= "Connection: Close\r\n\r\n"; 

   fwrite($fp, $out); 
   while (!feof($fp)) { 
	  //$Str=$Str. fgets($fp, 128); 
	  echo  fgets($fp, 4096); 
	  
   } 
   fclose($fp); 
}

на истинной странице есть блок javascript

function ss(w){window.status=w;return true;}
function cs(){window.status='';}
function clk(url,ct,cd,sg){if(document.images){(new Image()).src="/url?sa=T&ct="+escape(ct)+"&cd="+escape(cd)+"&url="+escape(url).replace(/\+/g,"%2B")+"&ei=-pgmQ_ayFs-KRf397IoH"+sg;}return true;}
function ga(o,e){if (document.getElementById){a=o.id.substring(1); p = "";r = "";g = e.target;if (g) { t = g.id;f = g.parentNode;if (f) {p = f.id;h = f.parentNode;if (h) r = h.id;}} else{h = e.srcElement;f = h.parentNode;if (f) p = f.id;t = h.id;}if (t==a || p==a || r==a) return true;location.href=document.getElementById(a).href}}

в моей странице пишет

function ss(w){window.status=w;return true;}
function cs(){window.status='';}
function ga(o,e) {return true;}

 

[python]

есть подозрение, что они смотрят заголовки на предмет браузера итп, а затем уже действительно высылают разные страницы

 

[Reaver]

Автор оригинала: python
есть подозрение, что они смотрят заголовки на предмет браузера итп, а затем уже действительно высылают разные страницы

а можно этот заголовок поменять, я просто не знаю как?

 

[Tor]

User-agent: ...

 

[Reaver]

Автор оригинала: Reaver
а можно этот заголовок поменять, я просто не знаю как?

Точно!!! заменил и все заработало!!!!!!!

 

[jdoe]

http://www.google.com/apis/
и не извращайтесь. специально для вас же все сделали.

 

[F0x]

2 Reaver: c подобными граблями рано или поздно доиграешься с 403 Error Никто не будет тебе вечно выдавать халявные запросы на поиск.

За подобные задачи гугл получает деньги. Можешь спросить Search.Mail.ru, сколько они выплачивают или зайти по ссылке выше, там розничные цены за один запрос

 

[Reaver]

Автор оригинала: F0x
2 Reaver: c подобными граблями рано или поздно доиграешься с 403 Error Никто не будет тебе вечно выдавать халявные запросы на поиск.

За подобные задачи гугл получает деньги. Можешь спросить Search.Mail.ru, сколько они выплачивают или зайти по ссылке выше, там розничные цены за один запрос

На самом деле у меня другая задача стояла, я не обрабатываю громадное количество запросов и не мониторю Гугл по поисковым словам.
Просто нужно было узнать позицию своего сайта в Гугле по определенному слову.

 

[tristram]

смешной заголок host у тебя

 

[SiMM]

> смешной заголок host у тебя
Это форум автоматически сформировал ссылку (ну так вот у него парсер сделан).

 

[DinDim]

Reaver Привет. Скажи пожалуйта, удалось ли побороть google. У меня такая же проблема, результат, полученный через fsockopen отличается о оригинальной страницы поиска. И еще, если сталкивался - как выкусить ссылки на сайты из страницы гугла, которая полученна с помошью fsockopen

 

[ys]

DinDim
На дату последнего поста в этой теме смотрели?