Web aplikacije, web servisi i software Frameworks, web servisi, programi, plugin-ovi, ekstenzije korisni za razvoj web sajtova. Sponzor:
![]() |
![]() |
|
Alati teme | Način prikaza |
![]() |
#1 |
old school
Expert
Datum učlanjenja: 14.10.2006
Poruke: 460
Hvala: 39
17 "Hvala" u 14 poruka
![]() |
![]() Pomagajte, Googlebot mi na forumu pojede 28GB protoka.
Ne mogu vise da placam toliki hosting ![]() Jel ima neko resenje za robots.txt fajl kako da kažem botu da dolazi jednom nedeljno? Guglao sam, ali nisam našao pravo rešenje. |
![]() |
![]() |
![]() |
#2 | |
Super Moderator
Knowledge base
Datum učlanjenja: 20.03.2006
Lokacija: Kragujevac
Poruke: 1.878
Hvala: 291
1.345 "Hvala" u 355 poruka
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
![]() Prijavi site ako već nisi na Google Webmasters Tools, pa u Tools -> Set Crawler Rate čekiraj Slower. Nisam se igrao sa tim ali piše da tome služi.
Citat:
|
|
![]() |
![]() |
![]() |
#3 |
Knowledge base
Wrote a book
Datum učlanjenja: 16.06.2005
Lokacija: Novi Sad
Poruke: 1.437
Hvala: 37
131 "Hvala" u 82 poruka
![]() ![]() |
![]() Mozda da napravis sitemap.xml koji ce reci crawleru sta da indeksira?
Overi ovo: https://www.google.com/webmasters/to.../protocol.html kao i deo za <changefreq> Takodje, Google webmaster tools moze pomoci (https://www.google.com/webmasters/tools/siteoverview) jer tamo mozes definisati brzinu crawlovanja (Set Crawl rate opcija). To su samo neke ideje.
__________________
Năo quero mais seguir um só caminho |
![]() |
![]() |
![]() |
#4 |
old school
Expert
Datum učlanjenja: 14.10.2006
Poruke: 460
Hvala: 39
17 "Hvala" u 14 poruka
![]() |
![]() |
![]() |
![]() |
![]() |
#5 |
old school
Expert
Datum učlanjenja: 14.10.2006
Poruke: 460
Hvala: 39
17 "Hvala" u 14 poruka
![]() |
![]() Smanjio sam crawler rate na slower, ali Googlebot dolazi i dalje svaki dan u 1h posle ponoci i napravi mi otprilike 1GB protoka.
Da li mogu da mu kazem da dolazi jednom nedeljno? U pitanju je forum www.hifi-forumi.com gde ne bih zeleo da "prune"-ujem stare teme, jer su sve znacajne. |
![]() |
![]() |
![]() |
#6 | |
Super Moderator
Knowledge base
Datum učlanjenja: 20.03.2006
Lokacija: Kragujevac
Poruke: 1.878
Hvala: 291
1.345 "Hvala" u 355 poruka
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
![]() Citat:
Nego da ti lepo promeniš hosting i prestaneš da brineš o protoku? ![]() |
|
![]() |
![]() |
![]() |
#7 |
profesionalac
Qualified
Datum učlanjenja: 22.09.2006
Poruke: 115
Hvala: 0
2 "Hvala" u 1 poruci
![]() |
![]() Meni je to malo cudno da ti za jednu noc google bot potrosi 1GB bandwitha , mislim ipak je to samo tekst osim ako nemas neku sekciju na forumu gdje posjetioci upladuju slike. E te slike ti mogu onda odnijet puno protoka.
Kako god mozes probat taj nacin sto su ti kolege predlozile a mozes i preko htaccess-a da blokiras google bota. Medjutim to i nije bas dobra ideja jer te vise google bot nece moc obilazit i nece ti moc indeksirat site. Ja sam imao takav slican problem ali sa nekim lijevim botom i blokiram ga, on se pojavi sa drugom ip, ja blokiram on opet dok sam mu ja stao u kraj citav protok za taj mjesec je vec bio otisao. Onda fno kupim novi hst na dreamhostu i prebacim sve. ![]() Sad sve sljaka super. Pogledaj i ovaj link usput: http://www.google.com/support/webmas....py?topic=8843 |
![]() |
![]() |
![]() |
#8 |
Comfortably Numb
Professional
|
![]() Jesi siguran da te to neko drugi ne crawl-uje sa fake referrer stringom? I mene je g-bot neko vrijeme satirao, ali nije bilo ni blizu 1GB dnevno. Toliko je uzimao Yahoo-ov Slurp, pa sam mu na kraju "rekao" da uopste ne zalazi na /forum - znalo je biti i po par desetina botova odjednom... smrt.
__________________
[size=1]Don't go around saying the world owes you a living. The world owes you nothing. It was here first. - Mark Twain |
![]() |
![]() |
![]() |
#9 |
Super Moderator
Knowledge base
Datum učlanjenja: 02.10.2006
Lokacija: Niš
Poruke: 1.618
Hvala: 263
275 "Hvala" u 104 poruka
![]() ![]() ![]() |
![]() ume yahoo slurp da dodje na sajt i sa 250 botova.
kod mene su stalno, mada u manjem broju [50-100], ali jednom sam ih zatekao 250 komada [sve sa razlicitih ip adresa, opseg isti, yahoo-ov] |
![]() |
![]() |
![]() |
#10 |
novi član
Na probnom radu
Datum učlanjenja: 16.07.2008
Poruke: 24
Hvala: 2
0 "Hvala" u 0 poruka
![]() |
![]() Nije mi jasno kako Googlebot može da uzme 28GB protoka?
|
![]() |
![]() |
![]() |
|
|
![]() |
||||
Tema | Početna poruka teme | Forum | Odgovori | Poslednja poruka |
27.3 izmedju 9 - 10.30 nestade 1gb protoka ? | [nq] | Opušteno | 6 | 30. 03. 2006. 13:44 |
Googlebot indeksiranje strana | Dragan Babić | Marketing i SEO | 4 | 24. 11. 2005. 12:01 |