DevProTalk

DevProTalk (http://www.devprotalk.com/index.php)
-   Marketing i SEO (http://www.devprotalk.com/forumdisplay.php?f=13)
-   -   Botovi ubili server (http://www.devprotalk.com/showthread.php?t=19)

bluesman 07. 06. 2005. 16:47

Botovi ubili server
 
Evo šta se desilo večeras. Verovatno ste primetili da je server bio down? U jednom trenutku se nakacilo preko 700 botova, google, yahoo i ask.com... uz jos 200 usera online na www.romance-cafe.com i jos nekoliko na drugim sajtovima load je skocio stravicno i server se srusio.

U pitanju je P4 sa 1,5 GB RAM
GenuineIntel, Intel(R) Pentium(R) 4 CPU 2.00GHz

To se već desilo nekoliko puta za poslednjih 6 meseci.

Jedino rešenje je da ih bannujem - ne znam šta bih drugo.

bluesman 08. 06. 2005. 05:56

Ne znam šta se dešava, opet je jutros server bio down. Na kraju sam uspeo da ga podignem posle 3 reboot ticket-a na ev1. Ne znam ni koliko je bio down. Kao što rekoh, ovo se dešavalo i ranije ali nikada 2 dana za redom, dešavalo se jednom u 3-4 meseca.

Da li ima smisla upgrade koji nude:
Citat:

P4 2.6 Processor Upgrades


If you have a Celeron 1.7, P4 1.7 or P4 2.0 server, you can upgrade to a P4 2.6GHz processor for a $149 one time fee.

Petar Marić 08. 06. 2005. 06:01

Mislim da to nije vredno tih para, bolje kupi dodatni RAM.
U stvari da bismo mogli bilo šta (pametno) da kažemo, ne bi bilo loše da nam pokažeš statistike opterećenja servera.

godza 08. 06. 2005. 06:16

Anti SEO policy :)

Probaj da ogranichis broj konekcija sa nekog IP-a.

bluesman 08. 06. 2005. 13:14

E ovaj mess sa redosledom poruka je nastao zbog toga što se resetovalo i vreme na serveru posle reboot.

Što se RAM-a tiče ima ga 1,5 GB - trebalo bi da je dovoljno. Gledam sada i vidim da je load konstantno oko 5, memorija je zauzeta oko 80%.. problem je što se to ne dešava konstantno, recimo load je obično između 0.7 i 1.2 ali od jednom skoči čak i na 30 i onda se lagano vrati na standardne vrednosti. Ako server "preživi" taj skok - onda je OK, međutim dešava se kao danas i juče da "umre". Jednom sam baš gledao u trnutku kada je load rastao, u roku od 20 sekundi skočio je na 200 (verovali ili ne) a posle toga je umro.

Inače server je podesio Prethorian, i on je zbunjen ovakvim ponašanjem. Ja sam čak pomislio da nisu neki "rusi" - oni koje možete da platite da namenski DoS-uju neki server. Ne znam, možda je RC postao ozbiljniji sajt nego što mislim pa se neko obračunava sa konkurencijom. Nemam razumno obrazloženje za ovakvo čudno ponašanje servera.

Petar Marić 08. 06. 2005. 13:19

Mislim da je jedino sigurno rešenje load balancing onda, naravno ako tvoj novčanik to može da izdrži - ako ne, počni da ograničavaš broj istovremenih konekcija :(

bluesman 08. 06. 2005. 13:28

Sve više sam ubeđen da botovi prave haos. Upravo u ovom trenutku preko 300 Ask Jeeves botova indeksira Romance-Cafe. Čini mi se da ignoriše robots.txt i indeksira sve na šta naiđe. Što se google tiče, on nikada nije pravio problem - bilo je i njih po par stotina u istom trenutku, a konstatno je na sajto bar 20-30 botova.

Za load balancing trenutno nemam budžet :(

Petar Marić 08. 06. 2005. 13:33

Ništa, ili zabrani AskJeves, ili im ograniči broj konekcija.

boccio 10. 06. 2005. 13:11

Citat:

Originalno napisao bluesman
Sve više sam ubeđen da botovi prave haos. Upravo u ovom trenutku preko 300 Ask Jeeves botova indeksira Romance-Cafe. Čini mi se da ignoriše robots.txt i indeksira sve na šta naiđe.

A sto ga ne odstrelis .htaccess-om?

bluesman 10. 06. 2005. 13:44

Sve moje tvrdnje su kondicionalne, nisam siguran jer nisam proverio. Moram da sačekam sledeći "slučaj" kada ću moi da potvrdim ovo, a onda ću da primenim zakon "akcije - reakcije" :)


Vreme je GMT +2. Trenutno vreme je 15:44.

Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.

Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.
Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.