DevProTalk

Forumi IT profesionalaca
web development, web design, e-business, SEO


Idite nazad   DevProTalk > Poslovanje, održavanje i marketing > Marketing i SEO
Želite da se reklamirate ekskluzivno na ovoj poziciji? Javite se

Marketing i SEO Marketing tehnike i Search Engine Optimization

Odgovori
 
Alati teme Način prikaza
Staro 31. 05. 2006.   #1
Pedja
Predrag Supurović
Grand Master
 
Datum učlanjenja: 24.01.2006
Lokacija: Užice
Poruke: 791
Hvala: 3
200 "Hvala" u 12 poruka
Pedja is on a distinguished roadPedja is on a distinguished roadPedja is on a distinguished road
Default Search Engine Attack

Ovih dana sam primetio da mi forum trosi protok ko lud. Pogledam u log i vidim ono cega sam se i plasio. Opet search engine botovi prave dar mar. U poslednjih 7 dna sajt je pod konstantnim napadom Google-a i nekog sogou spider bota. Urnisase me.

Forum mi je pod konstantim opterecenjem, protok vec 7 dana ne spada ispod 100kbps, a u cestim pikovima ide i preko 200 kbps. Opterecenej je konstano 24h dnevno.

Odavno sam podesio robots.txt da smanjim indeksiranje od strane pretrazivaca i to je do pre neki dan koliko-toliko radilo, ali ovo sada je neverovatno.

Prakticno mi ostaje jedina opcija da zabranim pristup sajtu sa IP-ova sa kojih dolaze bot-ovi.

Imate li vi ovakvih problema?
Pedja je offline   Odgovorite uz citat
Staro 31. 05. 2006.   #2
MorenoArdohain
Knowledge base
Wrote a book
 
Avatar MorenoArdohain
 
Datum učlanjenja: 16.06.2005
Lokacija: Novi Sad
Poruke: 1.437
Hvala: 37
131 "Hvala" u 82 poruka
MorenoArdohain će postati "faca" uskoroMorenoArdohain će postati "faca" uskoro
Default

Mislim da si spomenuo taj problem vise puta ovde, ali ja licno nijednom nisam imao slican slucaj.

Inace, jesi siguran da su SE botovi u pitanju, po IP adresama?
Ako jesi, mozda ne bi skodilo da postujes link do foruma, pa da vidimo sta je to tako problematicno za njih, mozda su upali u neki loop, a ne bi skodilo ni da iz loga izvadis URLove koje su oni fetchovali i koliko puta
__________________
Năo quero mais seguir um só caminho
MorenoArdohain je offline   Odgovorite uz citat
Staro 31. 05. 2006.   #3
nixa
Nikola Denić
Sir Write-a-Lot
 
Avatar nixa
 
Datum učlanjenja: 18.05.2005
Lokacija: Beograd
Poruke: 3.694
Hvala: 160
458 "Hvala" u 164 poruka
nixa ima spektakularnu aurunixa ima spektakularnu aurunixa ima spektakularnu aurunixa ima spektakularnu aurunixa ima spektakularnu auru
Pošaljite poruku preko Skype™ za nixa
Default

Pedja da li si siguran da problem nije do tebe ... mozda u kodu pravis neki beskonacni loop gde se zabuni robot ?
__________________
Do not ask yourself what the world needs. Ask yourself what makes you come alive, and then go do that. Because what the world needs is people who have come alive
nixa je offline   Odgovorite uz citat
Staro 01. 06. 2006.   #4
MorenoArdohain
Knowledge base
Wrote a book
 
Avatar MorenoArdohain
 
Datum učlanjenja: 16.06.2005
Lokacija: Novi Sad
Poruke: 1.437
Hvala: 37
131 "Hvala" u 82 poruka
MorenoArdohain će postati "faca" uskoroMorenoArdohain će postati "faca" uskoro
Default

Pedja, ako je u pitanju forum.u...e.net, vidim da je na URL-ove nalepljen SID, mozda to prouzrokuje problem?
__________________
Năo quero mais seguir um só caminho
MorenoArdohain je offline   Odgovorite uz citat
Staro 01. 06. 2006.   #5
Pedja
Predrag Supurović
Grand Master
 
Datum učlanjenja: 24.01.2006
Lokacija: Užice
Poruke: 791
Hvala: 3
200 "Hvala" u 12 poruka
Pedja is on a distinguished roadPedja is on a distinguished roadPedja is on a distinguished road
Default

Jeste, forum.uzice.net. Ma forumi su uvek puni ciklicnih linkova. SE botovi moraju da znaju da se snadju sa tim kao i sa SID-om.

Jedan od botova je Google (mada mislim da se on ponasa koliko-toliko pristojno, pravi mi samo nesto preko 1 giga mesecno. Pre sedam dana se pojavio neki sogou spider, koliko sam iskopao to je spider nekog kineskog provajdera. Ne postuje robots.txt ni za ic, a protok prvi samo tako, za sedam dana skoro 4 giga...

Gogole-u ne mogu da stavim ban, ali ovog sam blokirao samo tako. Videcu kakvi ce rezultati biti u toku dana.
Pedja je offline   Odgovorite uz citat
Staro 01. 06. 2006.   #6
MorenoArdohain
Knowledge base
Wrote a book
 
Avatar MorenoArdohain
 
Datum učlanjenja: 16.06.2005
Lokacija: Novi Sad
Poruke: 1.437
Hvala: 37
131 "Hvala" u 82 poruka
MorenoArdohain će postati "faca" uskoroMorenoArdohain će postati "faca" uskoro
Default

Ipak ti savetujem da uklonis SID iz linkova
__________________
Năo quero mais seguir um só caminho
MorenoArdohain je offline   Odgovorite uz citat
Staro 01. 06. 2006.   #7
Pedja
Predrag Supurović
Grand Master
 
Datum učlanjenja: 24.01.2006
Lokacija: Užice
Poruke: 791
Hvala: 3
200 "Hvala" u 12 poruka
Pedja is on a distinguished roadPedja is on a distinguished roadPedja is on a distinguished road
Default

Sad proverih, ko zna kad sam ja uradio patch koji regulise SID za Google i inktomi. Uglavnom to je uradjeno davno.
Pedja je offline   Odgovorite uz citat
Staro 14. 06. 2006.   #8
bojan_bozovic
expert
Master
 
Avatar bojan_bozovic
 
Datum učlanjenja: 20.12.2005
Poruke: 730
Hvala: 0
0 "Hvala" u 0 poruka
bojan_bozovic is on a distinguished road
Default

Takodje nemam. Pazi, mod_rewrite moze da napravi problem, a to zato sto nemas ? i & u URL pa robot misli da imas staticki sajt i ne pravi pauzu izmedju hitova. Tako moze bazu da ti obori.
bojan_bozovic je offline   Odgovorite uz citat
Staro 15. 06. 2006.   #9
Pedja
Predrag Supurović
Grand Master
 
Datum učlanjenja: 24.01.2006
Lokacija: Užice
Poruke: 791
Hvala: 3
200 "Hvala" u 12 poruka
Pedja is on a distinguished roadPedja is on a distinguished roadPedja is on a distinguished road
Default

Ne koristim mod_rewrite na forumu.
Pedja je offline   Odgovorite uz citat
Staro 14. 07. 2006.   #10
oliver
expert
Expert
 
Avatar oliver
 
Datum učlanjenja: 16.06.2005
Lokacija: Novi Sad
Poruke: 580
Hvala: 1
0 "Hvala" u 0 poruka
oliver is on a distinguished road
Pošaljite ICQ poruku za oliver Pošaljite poruku preko Skype™ za oliver
Default

nadjoh nesto zanimljivo u log-u:

pogodak.co.yu spider: 56 visits, 21852 hits od 1. jula do danas, i sazvakao nesto preko 650MB protoka. cak je zeznuo i googlebot-a (3x manje hit-ova, skoro 10x manje protoka, 1,5x vise posjeta).

"pa sta raaaaaaadis..."
__________________

oliver je offline   Odgovorite uz citat
Odgovori


Alati teme
Način prikaza

Pravila pisanja
Možete ne započinjati nove teme
Možete ne slati odgovore
Možete ne slati priloge
Možete ne izmeniti svoje poruke
vB kôd je Uključen
Smajliji su Uključen
[IMG] kod je Uključen
HTML kôd je Isključen
Pogledajte forum

Slične teme
Tema Početna poruka teme Forum Odgovori Poslednja poruka
Bing.com - Search Engine SSpin Web aplikacije, web servisi i software 45 09. 06. 2009. 15:29
Google Custom Search Engine Goran Aničić Marketing i SEO 10 27. 10. 2007. 14:14
majestic12 - distributed search engine Pedja Marketing i SEO 5 11. 10. 2006. 11:28
Search Engine API? MorenoArdohain Web aplikacije, web servisi i software 7 19. 01. 2006. 19:50


Vreme je GMT +2. Trenutno vreme je 01:40.


Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2022, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.
Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.
Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.