DevProTalk

Forumi IT profesionalaca
web development, web design, e-business, SEO


Idite nazad   DevProTalk > Web development i web aplikacije > Web aplikacije, web servisi i software
Želite da se reklamirate ekskluzivno na ovoj poziciji? Javite se

Web aplikacije, web servisi i software Frameworks, web servisi, programi, plugin-ovi, ekstenzije korisni za razvoj web sajtova. Sponzor: vivvo

Odgovori
 
Alati teme Način prikaza
Staro 15. 11. 2007.   #1
ljtruba
old school
Expert
 
Datum učlanjenja: 14.10.2006
Poruke: 460
Hvala: 39
17 "Hvala" u 14 poruka
ljtruba is on a distinguished road
Default Googlebot mi pojede 28GB protoka!

Pomagajte, Googlebot mi na forumu pojede 28GB protoka.
Ne mogu vise da placam toliki hosting

Jel ima neko resenje za robots.txt fajl kako da kažem botu da dolazi jednom nedeljno?

Guglao sam, ali nisam našao pravo rešenje.
ljtruba je offline   Odgovorite uz citat
Staro 15. 11. 2007.   #2
mileusna
Super Moderator
Knowledge base
 
Datum učlanjenja: 21.03.2006
Lokacija: Kragujevac
Poruke: 1.878
Hvala: 291
1.345 "Hvala" u 355 poruka
mileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobar
Default

Prijavi site ako već nisi na Google Webmasters Tools, pa u Tools -> Set Crawler Rate čekiraj Slower. Nisam se igrao sa tim ali piše da tome služi.

Citat:
A slower crawl will reduce Googlebot's traffic on your server, but we may not be able to crawl your site as often.
mileusna je offline   Odgovorite uz citat
Staro 15. 11. 2007.   #3
MorenoArdohain
Knowledge base
Wrote a book
 
Avatar MorenoArdohain
 
Datum učlanjenja: 16.06.2005
Lokacija: Novi Sad
Poruke: 1.437
Hvala: 37
131 "Hvala" u 82 poruka
MorenoArdohain će postati "faca" uskoroMorenoArdohain će postati "faca" uskoro
Default

Mozda da napravis sitemap.xml koji ce reci crawleru sta da indeksira?
Overi ovo:
https://www.google.com/webmasters/to.../protocol.html
kao i deo za <changefreq>

Takodje, Google webmaster tools moze pomoci (https://www.google.com/webmasters/tools/siteoverview) jer tamo mozes definisati brzinu crawlovanja (Set Crawl rate opcija).

To su samo neke ideje.
__________________
Năo quero mais seguir um só caminho
MorenoArdohain je offline   Odgovorite uz citat
Staro 15. 11. 2007.   #4
ljtruba
old school
Expert
 
Datum učlanjenja: 14.10.2006
Poruke: 460
Hvala: 39
17 "Hvala" u 14 poruka
ljtruba is on a distinguished road
Default

Citat:
Originalno napisao mileusna Pogledajte poruku
Prijavi site ako već nisi na Google Webmasters Tools, pa u Tools -> Set Crawler Rate čekiraj Slower. Nisam se igrao sa tim ali piše da tome služi.
Uradio sam to. Hvala ti. Morao sam prvo da verifikujem da je to moj sajt, a nisam to video. Pozdrav
ljtruba je offline   Odgovorite uz citat
Staro 17. 11. 2007.   #5
ljtruba
old school
Expert
 
Datum učlanjenja: 14.10.2006
Poruke: 460
Hvala: 39
17 "Hvala" u 14 poruka
ljtruba is on a distinguished road
Default

Smanjio sam crawler rate na slower, ali Googlebot dolazi i dalje svaki dan u 1h posle ponoci i napravi mi otprilike 1GB protoka.
Da li mogu da mu kazem da dolazi jednom nedeljno?

U pitanju je forum www.hifi-forumi.com gde ne bih zeleo da "prune"-ujem stare teme, jer su sve znacajne.
ljtruba je offline   Odgovorite uz citat
Staro 17. 11. 2007.   #6
mileusna
Super Moderator
Knowledge base
 
Datum učlanjenja: 21.03.2006
Lokacija: Kragujevac
Poruke: 1.878
Hvala: 291
1.345 "Hvala" u 355 poruka
mileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobar
Default

Citat:
Originalno napisao ljtruba Pogledajte poruku
Smanjio sam crawler rate na slower, ali Googlebot dolazi i dalje svaki dan u 1h posle ponoci i napravi mi otprilike 1GB protoka.
Da li mogu da mu kazem da dolazi jednom nedeljno?

U pitanju je forum www.hifi-forumi.com gde ne bih zeleo da "prune"-ujem stare teme, jer su sve znacajne.
Sve što setuješ u webmasters tools neće odmah imati efektra. Sačekaj malo pa vidi da li će se crawlingu usporiti.

Nego da ti lepo promeniš hosting i prestaneš da brineš o protoku?
mileusna je offline   Odgovorite uz citat
Staro 17. 11. 2007.   #7
ZeroStyle
profesionalac
Qualified
 
Avatar ZeroStyle
 
Datum učlanjenja: 22.09.2006
Poruke: 115
Hvala: 0
2 "Hvala" u 1 poruci
ZeroStyle is on a distinguished road
Default

Meni je to malo cudno da ti za jednu noc google bot potrosi 1GB bandwitha , mislim ipak je to samo tekst osim ako nemas neku sekciju na forumu gdje posjetioci upladuju slike. E te slike ti mogu onda odnijet puno protoka.

Kako god mozes probat taj nacin sto su ti kolege predlozile a mozes i preko htaccess-a da blokiras google bota.

Medjutim to i nije bas dobra ideja jer te vise google bot nece moc obilazit i nece ti moc indeksirat site.

Ja sam imao takav slican problem ali sa nekim lijevim botom i blokiram ga, on se pojavi sa drugom ip, ja blokiram on opet dok sam mu ja stao u kraj citav protok za taj mjesec je vec bio otisao. Onda fno kupim novi hst na dreamhostu i prebacim sve.

Sad sve sljaka super.

Pogledaj i ovaj link usput:
http://www.google.com/support/webmas....py?topic=8843
ZeroStyle je offline   Odgovorite uz citat
Staro 20. 11. 2007.   #8
BrainDamage
Comfortably Numb
Professional
 
Avatar BrainDamage
 
Datum učlanjenja: 15.03.2007
Lokacija: Novi Sad
Poruke: 237
Hvala: 13
4 "Hvala" u 3 poruka
BrainDamage is on a distinguished road
Pošaljite ICQ poruku za BrainDamage Pošaljite poruku preko MSN za BrainDamage Pošaljite poruku preko Skype™ za BrainDamage
Default

Jesi siguran da te to neko drugi ne crawl-uje sa fake referrer stringom? I mene je g-bot neko vrijeme satirao, ali nije bilo ni blizu 1GB dnevno. Toliko je uzimao Yahoo-ov Slurp, pa sam mu na kraju "rekao" da uopste ne zalazi na /forum - znalo je biti i po par desetina botova odjednom... smrt.
__________________
[size=1]Don't go around saying the world owes you a living. The world owes you nothing. It was here first. - Mark Twain
BrainDamage je offline   Odgovorite uz citat
Staro 20. 11. 2007.   #9
Peca
Super Moderator
Knowledge base
 
Datum učlanjenja: 02.10.2006
Lokacija: Niš
Poruke: 1.618
Hvala: 263
275 "Hvala" u 104 poruka
Peca će postati "faca" uskoroPeca će postati "faca" uskoroPeca će postati "faca" uskoro
Default

ume yahoo slurp da dodje na sajt i sa 250 botova.
kod mene su stalno, mada u manjem broju [50-100], ali jednom sam ih zatekao 250 komada [sve sa razlicitih ip adresa, opseg isti, yahoo-ov]
__________________
Vesti | MyCity | Igrice | Zaštita od virusa
Peca je offline   Odgovorite uz citat
Staro 09. 04. 2009.   #10
kameleon
novi član
Na probnom radu
 
Datum učlanjenja: 16.07.2008
Poruke: 24
Hvala: 2
0 "Hvala" u 0 poruka
kameleon is on a distinguished road
Default

Nije mi jasno kako Googlebot može da uzme 28GB protoka?
kameleon je offline   Odgovorite uz citat
Odgovori


Alati teme
Način prikaza

Pravila pisanja
Možete ne započinjati nove teme
Možete ne slati odgovore
Možete ne slati priloge
Možete ne izmeniti svoje poruke
vB kôd je Uključen
Smajliji su Uključen
[IMG] kod je Uključen
HTML kôd je Isključen
Pogledajte forum

Slične teme
Tema Početna poruka teme Forum Odgovori Poslednja poruka
27.3 izmedju 9 - 10.30 nestade 1gb protoka ? [nq] Opušteno 6 30. 03. 2006. 14:44
Googlebot indeksiranje strana Dragan Babić Marketing i SEO 4 24. 11. 2005. 13:01


Vreme je GMT +2. Trenutno vreme je 10:17.


Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.
Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.
Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.