.NET > najpouzdaniji nacin za scheduled tasks
 

Imam dilemu...

Za stvari koje radim svaku minutu redovno > slozio sam windows service i to sljaka like a charm. Medjutim, sad imam stvari koje ce se morati odigrati u tocno odredjeno vrijeme. Ovako receno, zvuci kao klasican kandidat za dodati u windows scheduler medjutim ima catch: kroz dan cu imati periode kad satima nece bit nicega, a imat cu i valove kad je moguce da bude nekoliko taskova u sekundi.

presudna stvar je da je sustav as pouzdan as possible. citajuci po netu, vidim da ljudi za frekventnije stvari imaju puno vise povjerenja u windows services i tu se sad lomim oko odluke jer:

- windows service mi stvarno radi po onom set&forget
- opisano je klasican kandidat za scheduler
- nemam nikakvo iskustvo sa schedulerom i njegovom pouzdanoscu

pa eto, ako tko ima real life experience, bit cu vrlo zahvalan

tnx

Zadnji put sam scheduling u .Net-u radio još 2004, i uzeo sam neku gotovu biblioteku. Aplikacija je radila kao windows servis, i ta biblioteka je dobro određivala vremena pokretanja taskova. Međutim dešavalo se da aplikacija padne iz nekog razloga, i ta biblioteka se nije brinula da pokrene taskove koji su trebali da se vrte u to vreme. Pošto je taj kod sigurno outdated, nema smisla ni da kopam koja je to bila biblioteka. Ali zato evo jedan dobar tekst na tu temu, a u komentarima može još što šta pametno da se vidi:

http://ayende.com/blog/155489/rotten...-roll-your-own

tnx

iako mi tu zapravo ne odgovaraju na jedno pitanje: postoji li pregust raspored za windows scheduler? kako se on ponasa u situaciji kad ima npr 50 taskova za odradit u 2 sekunde? (lupam bezveze brojeve)

za servis znam da ce odradit kako treba jer mi vec radi odlicno druge stvari medjutim posto je, kako rekoh, kandidat za scheduler rado bih iskoristio infrastrukturu OSa, ako je moguce jer sumnjam da cu napisat nesto pametnije od njih. A tek ako nije, onda cu se krpit drugacije.

Čekaj, sad kad čitam tvoj prvi post - kažeš imaćeš periode kad satima neće biti ničega, a onda posle nekoliko taskova u sekundi. Kako se tu uklapa scheduler, kad ima unapred određenu frekvenciju okidanja i to je to?

@domagoj Svaki scheduler koji treba da u burstu aktivira 50 procesa u sekundi ti nije 100% pouzdan, i cron na linuxu zna da se skuca ako OS ima posla u tom trenutku. Hocu reci, nije to trivijalan zahtev, ako mora da bude bas precizno u bas toj sekundi.

bas zato rekoh da 'lupam brojeve bezveze' (napisano u zagradi). dakle, to je ocekivanje, nikako unaprijed odredjena frekvencija. to ce biti korisnicke akcije koje ce zakazivati akcije. recimo, kao da imas narudzbe za gablece koje ljudi na radnom mjestu stavljaju. mogu cijelo prijepodne narucivati, ali mozes lako predvidjevi raspodjelu gableca u danu > svi ce biti grupirani npr. oko 13h. uz uvjet, naravno, da gableca ne fali i da svak u tocno vrijeme dobije svoj.

da, zato i trazim nacin kako bi to bilo najpouzdanije sloziti. a ne skodi pitat ako netko ima iskustvo.
kako rekoh, imam servis koji isto ima lijepu frekvenciju taskova kad napadnu, ali kod njega nije krucijalno vrijeme pa onda ne igra ulogu.

PS.
ovo sa 50 u sekundi je proizvoljno...mozda nece biti bas toliko, mozda bude deset (iako, mozda nekad zakuca 80). poanta je bila - pod opterecenjem (sto god mu opterecenje znacilo).

Cini mi se da ce sve ici u smjeru da odredimo uvjet da korisnik mora narucit svoj gablec barem minutu prije dostave (inace ce se smatrati da zeli promptnu dostavu sto ce onda raditi druga funkcija). Nakon toga, windows service moze mirno:

- pokupiti listu novih narudzbi iz baze svakih npr 30 sekundi i dodati u job queue
- timer.tick sa tick periodom od sekunde odradjivati taskove
- svaka obrada narudzbe ide u svom threadu

ovo mi zvuci kao najcisca i najsigurnija implementacija

Ovaj tvoj opis mi sugeriše da ti nije bitna periodičnost, već neki mehanizam koji pomaže da se ne zaguši ceo sistem kad je veći load. A da razmisliš o MSMQ? On dosta olakšava asinhrono izvršavanje taskova. Kad stigne zahtev on se stavi u queue, a drugi thread čita iz tog queue-a i izvršava kad stigne. AKo se koriste transakcije i uključi da su poruke recoverable MSMQ odlično podnosi padove sistema ili kad proces/thread koji obrađuje zahteve ne radi iz nekog razloga.

da, meni periodicnost nije bitna. odnosno, preciznije receno, realno ju je ocekivati ali ne mogu na nju racunati. tako da sve sto mogu s tim ocekivanjem je razmisljati o zastiti od overloada u peek periodima.
ono sto mi jest bitno je da se sustav ne zagusi i da akcije budu izvrsene s najvecom mogucom tocnoscu.

ne znam nista o MSMQ, sad cu proguglat to.
hvala ti.

http://www.cogin.com/articles/IntroductionToMSMQ.php

upravo sam proguglo ;)

ali, ne vidim jednu stvar: kako mi MSMQ osigurava da mi se akcija izvrsi u tocno odredjeni trenutak?
a koliko vidim, pasus

opisuje upravo onaj gore scenarij sa windows service i timerom. ako sam dobro shvatio?

MSMQ kao ne daje nikakvu garanciju kad će se akcija izvršiti, niti može da se zakaže vreme kad poruka treba da stigne. On je namenjen za druge stvari - kad ti nije bitno kad će se desiti ta druga akcija, ali hoćeš da se sigurno desi, bez obzira da li proces, mreža, baza ili neki drugi resurs trenutno ne rade.

Čini mi se da sam pogrešno shvatio šta tvoj sistem treba da radi, jer sam mislio da je poenta da se preživi veće opterećenje i tu bi MSMQ mogao da igra ulogu. Sad kad sam opet pročitao, deluje mi da imaš proces koji ima nekoliko koraka, i da oni moraju da se dese u određenim trenucima - npr. korak B mora da bude tačno 60s posle koraka A, itd. Tj. tebe muči najpre problem da se svaki korak desi u određenom trenutku, a to što može da se desi da bude 20 događaja u jednoj sekundi je sporedna stvar.

Jedno rešenje jeste da upisuješ događaje u bazu, a drugi proces/thread da čita periodično bazu i da gleda šta ima novo. Koliko je to opterećenje za bazu - zavisi od raznih faktora, a može da bude problem ako hoćeš svake sekunde da čitaš, a posle i da radiš update. Ako performanse nisu problem možda ti to nije loše rešenje da ne bi sad uvlačio i MSMQ u priču.

Ako performanse jesu problem, može i MSMQ da se primeni u ovom scenariju tako što ćeš npr. u labeli poruke (to je nešto kao subject mail-a) da upišeš kad treba da se izvrši sledeći korak. Drugi proces/thread koji čita poruke gleda samo labelu poruke na vrhu, gleda da li je došlo vreme za nju i ako nije pokušava ponovo sledeće sekunde. To periodično čitanje poruke sa vrha je zanemarljivo opterećenje, naročito pošto po pravilu to čitanje radiš iz lokalnog queue-a. Ovo je primenljivo samo ako svaka poruka može da ide na kraj queue-a, tj. da je situacija takva da uvek treba sve prethodne poruke da se obrade pre ove zadnje. A ako na primer imaš situaciju da u jednom slučaju sledeći korak ide za 60s, a u drugom za 30s onda ne možeš da koristiš MSMQ pošto njemu ne možeš da kažeš "ubaci ovu poruku u pola queue-a, tačno tamo gde joj je mesto".

Treća varijanta je da sve to držiš u memoriji i da imaš tajmere koji će da okidaju kad dođe vreme za sledeću poruku. To rešenje ima problem što je osetljivo na restart procesa jer možeš da izgubiš sve operacije koje su trenutno u toku.

Četvrto je ovo što si pominjao za Windows scheduler, ali stvarno ne znam kako se ponaša kad mu se preko nekog apija stalno kreiraju i brišu taskovi i kako se nosi sa većom količinom događaja.

da, nisam opisivao cijeli sistem jer mi ostatak radi i nije sporan.
ali je, to je workflow: useri rade subscriptions raznih dogadjaja u buducnosti. sve to zavrsi u bazi. kasnije, drugi proces cita te dogadjaje i odradjuje.

ovo sto si naveo

to je ovo:

i tim smjerom cu i ici. najsigurnije mi je.

moja dilema je bila bas to sto kazes:

PS.
performanse ovog rjesenja su rjesive tako sto znam da mi se predbiljezba za dogadjaj nece desiti unutar posljednje minute samog dogadjaja. to znaci da mogu komotno staviti da se svakih 45 sekundi iz baze dovlaci lista dogadjaja koje treba odraditi u npr. slijedecih sat vremena. a onda timer ima tick svaku sekundu, dvije, tri (nebitno) i prolazi kroz listu dogadjaja i okida one kojima je dosao cas.