taskmaster

reiklus yra paprasta platinamas eilė skirta valdyti daug vienkartinių užduočių.
Mes pastatėme tai ne Disqus tvarkyti dažnai, tačiau nedažnai uždaviniai, pavyzdžiui, "migruoti šiuos duomenis į naują schemą".
Kodėl? "
Jūs galite paklausti: "Kodėl gi ne naudoti Salierai?". Na atsakymas yra tiesiog, kad normalus eilių reikia (ne pažodžiui, bet jis nori būti skausminga be jo) Jums buferio visas užduotis į centrinę vietą. Tai tampa problema, kai turite didelį kiekį užduočių, ypač kai jie yra daug duomenų.
Įsivaizduokite turite 1 mlrd užduotis, kurių kiekvienas sveria ne 5k. Thats, nesuspaustų, bent minimalių 4 terabaitų saugojimo reikalaujama tik išlaikyti, kad aplink, ir pelnas jums labai mažai.
Gnębiciel, kita vertus, yra skirta vartoti resumable iteratorių, ir tik traukti maksimalaus darbo vietų skaičių tuo metu, (naudojant standartas Python Eilė s). Tai užtikrina nuoseklų atminties modelį, kuris gali masto tiesiškai.
Naudojimas
Sukurti iteratorių ir atg:
importo lizdas
# Turime užtikrinti numatytąją timeout ** Netiksli nustatyti ** arba atsitiktinai šūdas bus hit ventiliatorių.
socket.setdefaulttimeout (Nėra)
# Reiklus / example.py
def get_jobs (paskutinis = 0):
& Nbsp; # paskutinis bus išsiųstas, jeigu buvo atnaujintas būsena
& Nbsp; # Iš ankstesnį paleisti
& Nbsp; i xrange (paskutinis, 100000000):
& Nbsp; # darbo davė turi būti serializeable su marinatas
& Nbsp; derlius i
Def handle_job (I):
& Nbsp; # ši ** būtina ** būti idempotent, kaip atnaujinti procesą gali vykdyti darbą
& Nbsp; #, kad jau buvo paleisti
& Nbsp; print "Got% r!" % I
Spawn meistras:
& Nbsp; TM-meistras taskmaster.example
Spawn vergas:
& Nbsp; TM-vergas taskmaster.example
Arba neršti 8 vergai (kiekviename yra threadpool):
& Nbsp; TM-neršti taskmaster.example 8
Dont kaip stebuklinga funkcija atrasti master / slave? Nurodykite savo tikslus:
& Nbsp; TM-meistras taskmaster.example: get_jobs $ TM-vergas taskmaster.example: handle_job

Pastaba: Visi argumentai yra neprivalomi, o pagal nutylėjimą bus localhost be autorizacijos raktą

Reikalavimai :.

• Python