Evo šta se desilo večeras. Verovatno ste primetili da je server bio down? U jednom trenutku se nakacilo preko 700 botova, google, yahoo i ask.com... uz jos 200 usera online na www.romance-cafe.com i jos nekoliko na drugim sajtovima load je skocio stravicno i server se srusio.

U pitanju je P4 sa 1,5 GB RAM
GenuineIntel, Intel(R) Pentium(R) 4 CPU 2.00GHz

To se već desilo nekoliko puta za poslednjih 6 meseci.

Jedino rešenje je da ih bannujem - ne znam šta bih drugo.

Ne znam šta se dešava, opet je jutros server bio down. Na kraju sam uspeo da ga podignem posle 3 reboot ticket-a na ev1. Ne znam ni koliko je bio down. Kao što rekoh, ovo se dešavalo i ranije ali nikada 2 dana za redom, dešavalo se jednom u 3-4 meseca.

Da li ima smisla upgrade koji nude:
P4 2.6 Processor Upgrades


If you have a Celeron 1.7, P4 1.7 or P4 2.0 server, you can upgrade to a P4 2.6GHz processor for a $149 one time fee.

Mislim da to nije vredno tih para, bolje kupi dodatni RAM.
U stvari da bismo mogli bilo šta (pametno) da kažemo, ne bi bilo loše da nam pokažeš statistike opterećenja servera.

Anti SEO policy :)

Probaj da ogranichis broj konekcija sa nekog IP-a.

E ovaj mess sa redosledom poruka je nastao zbog toga što se resetovalo i vreme na serveru posle reboot.

Što se RAM-a tiče ima ga 1,5 GB - trebalo bi da je dovoljno. Gledam sada i vidim da je load konstantno oko 5, memorija je zauzeta oko 80%.. problem je što se to ne dešava konstantno, recimo load je obično između 0.7 i 1.2 ali od jednom skoči čak i na 30 i onda se lagano vrati na standardne vrednosti. Ako server "preživi" taj skok - onda je OK, međutim dešava se kao danas i juče da "umre". Jednom sam baš gledao u trnutku kada je load rastao, u roku od 20 sekundi skočio je na 200 (verovali ili ne) a posle toga je umro.

Inače server je podesio Prethorian, i on je zbunjen ovakvim ponašanjem. Ja sam čak pomislio da nisu neki "rusi" - oni koje možete da platite da namenski DoS-uju neki server. Ne znam, možda je RC postao ozbiljniji sajt nego što mislim pa se neko obračunava sa konkurencijom. Nemam razumno obrazloženje za ovakvo čudno ponašanje servera.

Mislim da je jedino sigurno rešenje load balancing onda, naravno ako tvoj novčanik to može da izdrži - ako ne, počni da ograničavaš broj istovremenih konekcija :(

Sve više sam ubeđen da botovi prave haos. Upravo u ovom trenutku preko 300 Ask Jeeves botova indeksira Romance-Cafe. Čini mi se da ignoriše robots.txt i indeksira sve na šta naiđe. Što se google tiče, on nikada nije pravio problem - bilo je i njih po par stotina u istom trenutku, a konstatno je na sajto bar 20-30 botova.

Za load balancing trenutno nemam budžet :(

Ništa, ili zabrani AskJeves, ili im ograniči broj konekcija.

Sve više sam ubeđen da botovi prave haos. Upravo u ovom trenutku preko 300 Ask Jeeves botova indeksira Romance-Cafe. Čini mi se da ignoriše robots.txt i indeksira sve na šta naiđe.
A sto ga ne odstrelis .htaccess-om?

Sve moje tvrdnje su kondicionalne, nisam siguran jer nisam proverio. Moram da sačekam sledeći "slučaj" kada ću moi da potvrdim ovo, a onda ću da primenim zakon "akcije - reakcije" :)

Moram da se ispravim, nisu botovi "roknuli" server, niti je server uopšte bio down, problem je bio što sam ja bio blokiran i nisam mogao da pristupim ni jednom sajtu na serveru jer me je firewall blokirao iz nekog razloga koji pokušavamo da utvrdimo. Namešteno je da detektuje svaki pokušaj DoS i izgleda da sam ja previše vremena provodio na serveru pa sam "etiketiran" :)

Pošto nisam mogao da pristupim ni jednom sajtu, logično je bilo da pomislim da je server pao, pa sam ga 5-6 puta reboot-ovao i svaku put je bilo isto dok nismo isključili privremeno taj firewall.

Pretpostavka je bila da su botovi jer mi regularno podignu load servera, pošto se ponekada zakači i 700 botova istovremeno. Pogrešio sam. Sorry AskJeeves :)