Kako se borite protiv pretrazivaca?

Pedja · 23. 03. 2006.

Nesumnjivo je da nam je svima cilj da sajtovi budu sto popularniji, poseceniji i da nam je vazno da se sto bolje kotiraju na pretrazivacima.

Medjutim, ve neko vreme unazad, pretrazivaci su poceli cudno da se ponasaju. Indeksiraju sajtove cesto, a ako se radi o dinamickim sadrzajima umeju da upadnu u petlje pa jedan isti sadrzaj indeksiraju vise puta.

Rezultat je da je osetno povecana potrosnja protoka na sajtovima. Ovo je posebno primetno kod sajtova koji imaju veliki obim, odnosno veliki broj dokumenata (portali, forumi i slicno).

Ovo se desava sa Google, MSN, Alexom, pa cak i Pogotkom.

Jeste li imali ovakve probleme i kako izlazite sa tim na kraj?

Meni je vecpostala normalna procedura da za svaki sajtunapred pravi robots.txt koji ogranicava indeksiranje robotim samo na ono sto je zaista neophodno indeksirati, ali je to prilicno neefikasno jer cilj jeste da ipak skoro sav sadrzaj bude indeksiran.

Probao sam i da kroz robots smanim frekvenciju indeksiranja, bar kod staticnijih sajtova, medjutim, izgleda da pretrazivaci za te instrukcije mnogo ne mare (Crawl-delay).

Mozda je dobar nacin da se pravi sitemap a da se pretrazivacima kroz robots.txt zabrani da ista indeksiraju na svoju ruku, vec da samo koriste sitemap?

zextra · 23. 03. 2006.

Sto ne bi napravio robots.txt da bude dinamicki (registrujes .txt kao php skriptu), pa kontrolises ko kad moze da dodje na koji deo sajta?

cvele · 24. 03. 2006.

mod_rewrite... pogledaj temu iznad ove

Pedja · 24. 03. 2006.

Citat:

Originalno napisao zextra

Sto ne bi napravio robots.txt da bude dinamicki (registrujes .txt kao php skriptu), pa kontrolises ko kad moze da dodje na koji deo sajta?

To moze samo da odmogne, jer ako pretrazivac dodje na sajt a zabranjen mu ej pristup, to deluje kontraproduktivno.

Citat:

Originalno napisao cvele

mod_rewrite... pogledaj temu iznad ove

Na koji nacin mod_rewrite moze da pomogne?

ivanhoe · 24. 03. 2006.

Citat:

Originalno napisao Pedja

Na koji nacin mod_rewrite moze da pomogne?

pa kazes da se spajderi zbunjuju oko dinamickih url-ova, pa ucitavaju istu stranu vise puta (sto uzgred moze da ti donese negativne poene za kloniranje sadrzaja)...sakri sve dinamicke urlove da izgledaju lepo pomocu mod_rewrite i nemas taj problem...

dodatno google-u mozes da ponudis sitemap.xml fajl, a za vecinu robota mozes da koristis slicne tehnike kao kod rada sa cache-om, znaci da koristis Last-modified i If-Modified-Since headere da bi sprecio spajder da ucitava strane koje se nisu promenile..

A mozes i da uzmes hosting sa vecim protokom, sto mi se cini kao lakse resenje

Pedja · 24. 03. 2006.

Problem je sto se ovo desava i sa recimo forumom i sa staticnim sajtom (bukvalno je 90% sadrzaja cist HTML).

Niej problem hosting, nego sto je ovo postala cesta pojava i primecujem da skoro svaki veci sajt ima slican problem - pretrazivaci prave mnogo veci protok nego stvarni korisnici.

cvele · 24. 03. 2006.

ako imas veliki sajt to znaci da ti nije problem da platis flat hosting tako da zaista nevidim problem u svemu ovome

ivanhoe je objasnio kako mod_rewrite moze da pomogne

sirNemanjapro · 03. 04. 2006.

Jel nije problem neko da postuje robots.txt (sa disalow na nekim stranama) i sitemap.xml?

23. 03. 2006.	#1
Pedja Predrag Supurović Grand Master Datum učlanjenja: 24.01.2006 Lokacija: Užice Poruke: 791 Hvala: 3 200 "Hvala" u 12 poruka	Kako se borite protiv pretrazivaca? Nesumnjivo je da nam je svima cilj da sajtovi budu sto popularniji, poseceniji i da nam je vazno da se sto bolje kotiraju na pretrazivacima. Medjutim, ve neko vreme unazad, pretrazivaci su poceli cudno da se ponasaju. Indeksiraju sajtove cesto, a ako se radi o dinamickim sadrzajima umeju da upadnu u petlje pa jedan isti sadrzaj indeksiraju vise puta. Rezultat je da je osetno povecana potrosnja protoka na sajtovima. Ovo je posebno primetno kod sajtova koji imaju veliki obim, odnosno veliki broj dokumenata (portali, forumi i slicno). Ovo se desava sa Google, MSN, Alexom, pa cak i Pogotkom. Jeste li imali ovakve probleme i kako izlazite sa tim na kraj? Meni je vecpostala normalna procedura da za svaki sajtunapred pravi robots.txt koji ogranicava indeksiranje robotim samo na ono sto je zaista neophodno indeksirati, ali je to prilicno neefikasno jer cilj jeste da ipak skoro sav sadrzaj bude indeksiran. Probao sam i da kroz robots smanim frekvenciju indeksiranja, bar kod staticnijih sajtova, medjutim, izgleda da pretrazivaci za te instrukcije mnogo ne mare (Crawl-delay). Mozda je dobar nacin da se pravi sitemap a da se pretrazivacima kroz robots.txt zabrani da ista indeksiraju na svoju ruku, vec da samo koriste sitemap? __________________ Peđina beležnica (blog) - www.uzice.net - wireless.uzice.net - www.vokabular.org - www.vodic.net - forum.uzice.net Poslednja izmena od Pedja : 23. 03. 2006. u 10:51.

23. 03. 2006.	#2
zextra Boris Grand Master Datum učlanjenja: 01.12.2005 Lokacija: Novi Sad Poruke: 775 Hvala: 5 156 "Hvala" u 2 poruka	Sto ne bi napravio robots.txt da bude dinamicki (registrujes .txt kao php skriptu), pa kontrolises ko kad moze da dodje na koji deo sajta? __________________ "It’s important to have goals when you pet. Otherwise you’re just rubbing another mammal for no reason." - Scott Adams

24. 03. 2006.	#6
Pedja Predrag Supurović Grand Master Datum učlanjenja: 24.01.2006 Lokacija: Užice Poruke: 791 Hvala: 3 200 "Hvala" u 12 poruka	Problem je sto se ovo desava i sa recimo forumom i sa staticnim sajtom (bukvalno je 90% sadrzaja cist HTML). Niej problem hosting, nego sto je ovo postala cesta pojava i primecujem da skoro svaki veci sajt ima slican problem - pretrazivaci prave mnogo veci protok nego stvarni korisnici. __________________ Peđina beležnica (blog) - www.uzice.net - wireless.uzice.net - www.vokabular.org - www.vodic.net - forum.uzice.net

Alati teme
Pogledajte verziju za štampanje Pošaljite email-om ovu stranu
Način prikaza
Linearni prikaz Prebacite u hibridni prikaz Prebacite u prikaz po temama

Slične teme
Tema	Početna poruka teme	Forum	Odgovori	Poslednja poruka
Šta i kako protiv muva	SSpin	Opušteno	31	26. 10. 2010. 11:36
Nagli pad posete sa Google pretrazivaca	Deki80	Marketing i SEO	12	24. 11. 2008. 17:46
.BIZ domen - za i protiv ?	glaspodrinja.com	e-Business	0	24. 11. 2007. 19:50
Koliki je smisao pretrazivaca danas?	Pedja	Marketing i SEO	30	19. 06. 2006. 21:05

24. 03. 2006.	#3
cvele Banned Knowledge base Datum učlanjenja: 01.07.2005 Poruke: 1.598 Hvala: 206 140 "Hvala" u 89 poruka	mod_rewrite... pogledaj temu iznad ove

03. 04. 2006.	#8
sirNemanjapro Banned Expert Datum učlanjenja: 31.03.2006 Lokacija: Trnava, Čačak Poruke: 464 Hvala: 0 0 "Hvala" u 0 poruka	Jel nije problem neko da postuje robots.txt (sa disalow na nekim stranama) i sitemap.xml?