[Pedja]

Nesumnjivo je da nam je svima cilj da sajtovi budu sto popularniji, poseceniji i da nam je vazno da se sto bolje kotiraju na pretrazivacima.

Medjutim, ve neko vreme unazad, pretrazivaci su poceli cudno da se ponasaju. Indeksiraju sajtove cesto, a ako se radi o dinamickim sadrzajima umeju da upadnu u petlje pa jedan isti sadrzaj indeksiraju vise puta.

Rezultat je da je osetno povecana potrosnja protoka na sajtovima. Ovo je posebno primetno kod sajtova koji imaju veliki obim, odnosno veliki broj dokumenata (portali, forumi i slicno).

Ovo se desava sa Google, MSN, Alexom, pa cak i Pogotkom.

Jeste li imali ovakve probleme i kako izlazite sa tim na kraj?

Meni je vecpostala normalna procedura da za svaki sajtunapred pravi robots.txt koji ogranicava indeksiranje robotim samo na ono sto je zaista neophodno indeksirati, ali je to prilicno neefikasno jer cilj jeste da ipak skoro sav sadrzaj bude indeksiran.

Probao sam i da kroz robots smanim frekvenciju indeksiranja, bar kod staticnijih sajtova, medjutim, izgleda da pretrazivaci za te instrukcije mnogo ne mare (Crawl-delay).

Mozda je dobar nacin da se pravi sitemap a da se pretrazivacima kroz robots.txt zabrani da ista indeksiraju na svoju ruku, vec da samo koriste sitemap?