Googlebot mi pojede 28GB protoka!

ljtruba · 15. 11. 2007.

Pomagajte, Googlebot mi na forumu pojede 28GB protoka.
Ne mogu vise da placam toliki hosting

Jel ima neko resenje za robots.txt fajl kako da kažem botu da dolazi jednom nedeljno?

Guglao sam, ali nisam našao pravo rešenje.

mileusna · 15. 11. 2007.

Prijavi site ako već nisi na Google Webmasters Tools, pa u Tools -> Set Crawler Rate čekiraj Slower. Nisam se igrao sa tim ali piše da tome služi.

Citat:

A slower crawl will reduce Googlebot's traffic on your server, but we may not be able to crawl your site as often.

MorenoArdohain · 15. 11. 2007.

Mozda da napravis sitemap.xml koji ce reci crawleru sta da indeksira?
Overi ovo:
https://www.google.com/webmasters/to.../protocol.html
kao i deo za <changefreq>

Takodje, Google webmaster tools moze pomoci (https://www.google.com/webmasters/tools/siteoverview) jer tamo mozes definisati brzinu crawlovanja (Set Crawl rate opcija).

To su samo neke ideje.

ljtruba · 15. 11. 2007.

Citat:

Originalno napisao mileusna

Prijavi site ako već nisi na Google Webmasters Tools, pa u Tools -> Set Crawler Rate čekiraj Slower. Nisam se igrao sa tim ali piše da tome služi.

Uradio sam to. Hvala ti. Morao sam prvo da verifikujem da je to moj sajt, a nisam to video. Pozdrav

ljtruba · 17. 11. 2007.

Smanjio sam crawler rate na slower, ali Googlebot dolazi i dalje svaki dan u 1h posle ponoci i napravi mi otprilike 1GB protoka.
Da li mogu da mu kazem da dolazi jednom nedeljno?

U pitanju je forum www.hifi-forumi.com gde ne bih zeleo da "prune"-ujem stare teme, jer su sve znacajne.

mileusna · 17. 11. 2007.

Citat:

Originalno napisao ljtruba

Smanjio sam crawler rate na slower, ali Googlebot dolazi i dalje svaki dan u 1h posle ponoci i napravi mi otprilike 1GB protoka.
Da li mogu da mu kazem da dolazi jednom nedeljno?

U pitanju je forum www.hifi-forumi.com gde ne bih zeleo da "prune"-ujem stare teme, jer su sve znacajne.

Sve što setuješ u webmasters tools neće odmah imati efektra. Sačekaj malo pa vidi da li će se crawlingu usporiti.

Nego da ti lepo promeniš hosting i prestaneš da brineš o protoku?

ZeroStyle · 17. 11. 2007.

Meni je to malo cudno da ti za jednu noc google bot potrosi 1GB bandwitha , mislim ipak je to samo tekst osim ako nemas neku sekciju na forumu gdje posjetioci upladuju slike. E te slike ti mogu onda odnijet puno protoka.

Kako god mozes probat taj nacin sto su ti kolege predlozile a mozes i preko htaccess-a da blokiras google bota.

Medjutim to i nije bas dobra ideja jer te vise google bot nece moc obilazit i nece ti moc indeksirat site.

Ja sam imao takav slican problem ali sa nekim lijevim botom i blokiram ga, on se pojavi sa drugom ip, ja blokiram on opet dok sam mu ja stao u kraj citav protok za taj mjesec je vec bio otisao. Onda fno kupim novi hst na dreamhostu i prebacim sve.

Sad sve sljaka super.

Pogledaj i ovaj link usput:
http://www.google.com/support/webmas....py?topic=8843

BrainDamage · 20. 11. 2007.

Jesi siguran da te to neko drugi ne crawl-uje sa fake referrer stringom? I mene je g-bot neko vrijeme satirao, ali nije bilo ni blizu 1GB dnevno. Toliko je uzimao Yahoo-ov Slurp, pa sam mu na kraju "rekao" da uopste ne zalazi na /forum - znalo je biti i po par desetina botova odjednom... smrt.

Peca · 20. 11. 2007.

ume yahoo slurp da dodje na sajt i sa 250 botova.
kod mene su stalno, mada u manjem broju [50-100], ali jednom sam ih zatekao 250 komada [sve sa razlicitih ip adresa, opseg isti, yahoo-ov]

kameleon · 09. 04. 2009.

Nije mi jasno kako Googlebot može da uzme 28GB protoka?

15. 11. 2007.	#1
ljtruba old school Expert Datum učlanjenja: 14.10.2006 Poruke: 460 Hvala: 39 17 "Hvala" u 14 poruka	Googlebot mi pojede 28GB protoka! Pomagajte, Googlebot mi na forumu pojede 28GB protoka. Ne mogu vise da placam toliki hosting Jel ima neko resenje za robots.txt fajl kako da kažem botu da dolazi jednom nedeljno? Guglao sam, ali nisam našao pravo rešenje.

15. 11. 2007.	#3
MorenoArdohain Knowledge base Wrote a book Datum učlanjenja: 16.06.2005 Lokacija: Novi Sad Poruke: 1.437 Hvala: 37 131 "Hvala" u 82 poruka	Mozda da napravis sitemap.xml koji ce reci crawleru sta da indeksira? Overi ovo: https://www.google.com/webmasters/to.../protocol.html kao i deo za <changefreq> Takodje, Google webmaster tools moze pomoci (https://www.google.com/webmasters/tools/siteoverview) jer tamo mozes definisati brzinu crawlovanja (Set Crawl rate opcija). To su samo neke ideje. __________________ Não quero mais seguir um só caminho

17. 11. 2007.	#7
ZeroStyle profesionalac Qualified Datum učlanjenja: 22.09.2006 Poruke: 115 Hvala: 0 2 "Hvala" u 1 poruci	Meni je to malo cudno da ti za jednu noc google bot potrosi 1GB bandwitha , mislim ipak je to samo tekst osim ako nemas neku sekciju na forumu gdje posjetioci upladuju slike. E te slike ti mogu onda odnijet puno protoka. Kako god mozes probat taj nacin sto su ti kolege predlozile a mozes i preko htaccess-a da blokiras google bota. Medjutim to i nije bas dobra ideja jer te vise google bot nece moc obilazit i nece ti moc indeksirat site. Ja sam imao takav slican problem ali sa nekim lijevim botom i blokiram ga, on se pojavi sa drugom ip, ja blokiram on opet dok sam mu ja stao u kraj citav protok za taj mjesec je vec bio otisao. Onda fno kupim novi hst na dreamhostu i prebacim sve. Sad sve sljaka super. Pogledaj i ovaj link usput: http://www.google.com/support/webmas....py?topic=8843 __________________ Magazin za mlade v4.0 - Pogled iz moje perspektive!

20. 11. 2007.	#8
BrainDamage Comfortably Numb Professional Datum učlanjenja: 15.03.2007 Lokacija: Novi Sad Poruke: 237 Hvala: 13 4 "Hvala" u 3 poruka	Jesi siguran da te to neko drugi ne crawl-uje sa fake referrer stringom? I mene je g-bot neko vrijeme satirao, ali nije bilo ni blizu 1GB dnevno. Toliko je uzimao Yahoo-ov Slurp, pa sam mu na kraju "rekao" da uopste ne zalazi na /forum - znalo je biti i po par desetina botova odjednom... smrt. __________________ [size=1]Don't go around saying the world owes you a living. The world owes you nothing. It was here first. - Mark Twain

20. 11. 2007.	#9
Peca Super Moderator Knowledge base Datum učlanjenja: 02.10.2006 Lokacija: Niš Poruke: 1.618 Hvala: 263 275 "Hvala" u 104 poruka	ume yahoo slurp da dodje na sajt i sa 250 botova. kod mene su stalno, mada u manjem broju [50-100], ali jednom sam ih zatekao 250 komada [sve sa razlicitih ip adresa, opseg isti, yahoo-ov] __________________ Vesti \| MyCity \| Igrice \| Zaštita od virusa

09. 04. 2009.	#10
kameleon novi član Na probnom radu Datum učlanjenja: 16.07.2008 Poruke: 24 Hvala: 2 0 "Hvala" u 0 poruka	Nije mi jasno kako Googlebot može da uzme 28GB protoka? __________________ Sveta voda i tumori \| Webmaster članci \| Misli, citati \| Šale, humor

Slične teme
Tema	Početna poruka teme	Forum	Odgovori	Poslednja poruka
27.3 izmedju 9 - 10.30 nestade 1gb protoka ?	[nq]	Opušteno	6	30. 03. 2006. 14:44
Googlebot indeksiranje strana	Dragan Babić	Marketing i SEO	4	24. 11. 2005. 13:01