zpovednice | 27. 01. 2012, 15:56:39 | více příspěvků | napsat uživateli

> Starous
Co je to Web crawler - crawl.
Web crawler je počítačový program, který prochází World Wide Web (laicky internetové stránky) automatizovaným způsobem , nebo za určitou dobu. U nás se pro tyto návštěvníky webu vžily i názvy, jako pavouk, nebo robot.

K čemu je to dobré, že naše stránky crawler navštěvuje?
Cílem vlastníka stránek je většinou to, aby jeho stránky navštívilo co nejvíce lidí a přečetli si informace, které jim stránky nabízejí. Aby se uživatelé internetu vůbec dozvěděli, že nějaké stránky s určitým obsahem existují, musí je prolézt tento pavoučí robot a zaindexovat je do vyhledávací databáze.
Pak už nám stačí ve vyhledávači zadat klíčové slovo a vyhledávač nám nabídne stránky, které se k zadanému slovu obsahově nejvíce hodí.

Co má vliv na četnost návštěv crawleru?
Četnost návštěv robota se odvíjí od toho, jak je web úspěšný, dále dle toho, jak často se mění obsah webových stránek, nebo jak často přibývají nové stránky na webu.
Podle těchto údajů se pak volí, zda má crawler - pavouk projít všechny stránky, nebo jen nové stránky.

Může robot značně zatížit chod serveru?
Ano, může. Hlavně pokud stahuje velké soubory, nebo četnost přístupů je velmi vysoká atd.
Ale můžete se tomu bránit v souboru robots.txt (dává se do rootu www.myweb.com/robots.txt) , kde uvedete, které části webu mohou roboti prohledávat.

Nejznámější roboti

Yahoo! Slurp nazev pro Yahoo Search crawler
Msnbot Microsoft Bing webcrawler
Googlebot společnosti Google
FAST Crawler

Jak mohu zjistit zda crawler navštívil mé stránky?
Například tak, že si zaznaménate IP návštěv a na níže uvedeném odkaze, získáte podrobnosti o návštěvě po zadání určitého IP:
http://ip-address-search.net/lookup.py?ip=xx.xx.xx.xx
Vy výsledku bude například crawler-xx.xx.xx.xx.serchweb.com

uživatel eliminován | 27. 01. 2012, 14:09:09

Bych ti jednu švihla