Botovi ubili server
Evo šta se desilo večeras. Verovatno ste primetili da je server bio down? U jednom trenutku se nakacilo preko 700 botova, google, yahoo i ask.com... uz jos 200 usera online na www.romance-cafe.com i jos nekoliko na drugim sajtovima load je skocio stravicno i server se srusio.
U pitanju je P4 sa 1,5 GB RAM GenuineIntel, Intel(R) Pentium(R) 4 CPU 2.00GHz To se već desilo nekoliko puta za poslednjih 6 meseci. Jedino rešenje je da ih bannujem - ne znam šta bih drugo. |
Ne znam šta se dešava, opet je jutros server bio down. Na kraju sam uspeo da ga podignem posle 3 reboot ticket-a na ev1. Ne znam ni koliko je bio down. Kao što rekoh, ovo se dešavalo i ranije ali nikada 2 dana za redom, dešavalo se jednom u 3-4 meseca.
Da li ima smisla upgrade koji nude: Citat:
|
Mislim da to nije vredno tih para, bolje kupi dodatni RAM.
U stvari da bismo mogli bilo šta (pametno) da kažemo, ne bi bilo loše da nam pokažeš statistike opterećenja servera. |
Anti SEO policy :)
Probaj da ogranichis broj konekcija sa nekog IP-a. |
E ovaj mess sa redosledom poruka je nastao zbog toga što se resetovalo i vreme na serveru posle reboot.
Što se RAM-a tiče ima ga 1,5 GB - trebalo bi da je dovoljno. Gledam sada i vidim da je load konstantno oko 5, memorija je zauzeta oko 80%.. problem je što se to ne dešava konstantno, recimo load je obično između 0.7 i 1.2 ali od jednom skoči čak i na 30 i onda se lagano vrati na standardne vrednosti. Ako server "preživi" taj skok - onda je OK, međutim dešava se kao danas i juče da "umre". Jednom sam baš gledao u trnutku kada je load rastao, u roku od 20 sekundi skočio je na 200 (verovali ili ne) a posle toga je umro. Inače server je podesio Prethorian, i on je zbunjen ovakvim ponašanjem. Ja sam čak pomislio da nisu neki "rusi" - oni koje možete da platite da namenski DoS-uju neki server. Ne znam, možda je RC postao ozbiljniji sajt nego što mislim pa se neko obračunava sa konkurencijom. Nemam razumno obrazloženje za ovakvo čudno ponašanje servera. |
Mislim da je jedino sigurno rešenje load balancing onda, naravno ako tvoj novčanik to može da izdrži - ako ne, počni da ograničavaš broj istovremenih konekcija :(
|
Sve više sam ubeđen da botovi prave haos. Upravo u ovom trenutku preko 300 Ask Jeeves botova indeksira Romance-Cafe. Čini mi se da ignoriše robots.txt i indeksira sve na šta naiđe. Što se google tiče, on nikada nije pravio problem - bilo je i njih po par stotina u istom trenutku, a konstatno je na sajto bar 20-30 botova.
Za load balancing trenutno nemam budžet :( |
Ništa, ili zabrani AskJeves, ili im ograniči broj konekcija.
|
Citat:
|
Sve moje tvrdnje su kondicionalne, nisam siguran jer nisam proverio. Moram da sačekam sledeći "slučaj" kada ću moi da potvrdim ovo, a onda ću da primenim zakon "akcije - reakcije" :)
|
Vreme je GMT +2. Trenutno vreme je 16:06. |
Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.