Dapper Dataflow Engine

"Dapper (Distributed ir Lygiagretus programos vykdymo Trukmė) yra įrankis išmokinti besivystančių didelio masto debesų ir tinklo kompiuterių sudėtingumo, leidžianti naudotojui sukurti paskirstytųjų skaičiavimų iš esminių dalykų - kodas, kuris bus execut
Kodėl Dapper?
Mes gyvename įdomių laikais, kai laimėjimų mokslų vis labiau priklauso nuo didėjančio prieinamumo ir gausa commoditized, tinklinių skaičiavimo išteklių. Su debesų ar tinklo, skaičiavimai, kad būtų kitaip paleisti dienas nuo vieno darbalaukio mašina dabar jau paskirstytos ir / arba lygiagrečiai formuluočių, kurios gali bidonas per, per kelias valandas klausimu padėti, įvesties rinkiniai dešimt kartų didesnis ant šimtai mašinos , Kaip viliojantis, kaip stiprybės idėja skaičiais gali būti, turintys tik fizinės kompiuterinės įrangos nepakanka - programuotojas turi amatų faktinį skaičiavimus, kad bus paleisti jį. Todėl didelės vertės ant žmogaus pastangų ir kūrybiškumo reikalauja programavimo aplinką, kuri leidžia ir net skatina, glausta išraiška platinamų skaičiavimų, ir dar tuo pačiu metu nėra paaukoti bendrumą.
Dapper, stovėti Platinama ir Lygiagretus programos vykdymo Trukmė, yra vienas iš tokių priemonė mažinti mokslininkas / programuotojas aukšto lygio specifikacijas, užfiksuoti programos esmę, su žemo lygio mechanizmų, kurie atspindi neskanus realijas paskirstytų ir lygiagrečių skaičiavimų. Pagal savo dataflow orientuotą požiūrį, Dapper leidžia vartotojams kodą vietos Java ir vykdyti visame pasaulyje ant debesies ar tinklelį. Vartotojo vardas rašo codelets ar mažus kodo fragmentų, kurie atlieka paprastas užduotis, o ne, patys sudaro pilną programą. Vėliau, jis nurodo, kaip šie codelets, vertinamas kaip viršūnių į DataFlow, perduoti duomenis tarpusavyje naudojant krašto santykius. Gautas nukreiptas alifatinės DataFlow grafikas visa programa suprantami pagal Dapper serverį, kuris, kai jam bus susisiekta ilgaamžių darbuotojų klientais, gali koordinuoti platinamas vykdymą.
Pagal Dapper modelį, vartotojas nebereikia jaudintis tradiciškai ad-hoc aspektų valdymą debesis ar tinklelį, kuris apima duomenų tvarkymas užsisklęs ir priklausomos teritorijos, atsigauna nuo klaidų, platinti kodo, ir pradėti darbą. Galbūt dar svarbiau, ji suteikia visą Java pagrindu toolchain ir runtime kadravimo beveik visi Rupjgraudains platinami skaičiavimus nuosekliai formatu, kuris leidžia greitai darbui ir lengvai gabenti į kitų tyrėjų.

Savybės

• kodas paskirstymo sistema, kuri leidžia Dapper serveris perduoda reikiamą programos kodą tinklu ir turime klientų dinamiškai įkelti jį. To pasekmė yra ta, kad draudimas išorės vykdomąjį, atnaujinimai Dapper programos turi atsitikti tik serverio pusėje.
• galingas subflow įdėjimas metodas dinamiškai pakeisti DataFlow grafiką runtime.
• vanilės Java Runtime, kalba, kad daugelis, be abejo, susipažinę su. Be iš neseniai JVM ir pasirinktinai Graphviz Dot reikalavimo, Dapper įmontuotu.
• tvirtos valdymo protokolas. Dapper serveris tikisi bet klientų skaičius žlugti bet kuriuo metu, ir turi pritaikomas naujo nevykdymo ir timeout politiką susidoroti. Taigi, galima paleisti ir sustabdyti (ilgaamžės) klientams be baimės visą sistemą pradėti nenuosekliai.
• Lankstūs semantika, kurios leidžia duomenų perdavimas per failus arba TCP upelių.
• Sąveika su užkardas. Kadangi jūsų vietos debesų arba tinklelis tikriausiai sėdi už ugniasienės, mes sukūrėme specialius semantiką transliacijos duomenų perdavimą.
• liberalai licencijavimo sąlygos. Dapper yra išleista pagal LGPL išvengti užteršimo savo codebase.
• Valdymas kaip įterptųjų taikymo. Vartotojo vadovą apibūdina programavimo API, kad vartotojai gali sekti paleisti Dapper serverio viduje kaip Apache Tomcat taikymo.
• Valdymas kaip savarankiška vartotojo sąsaja. Su juo galima paleisti off-the-shelf demo ir išmokti pagrindines sąvokas iš vizualinių pavyzdžių. Iki šių minimalų rinkinį konvencijų, galima tada pluoštas, kaip asmuo Dapper programas, vykdymo archyvuose, ir tada gauti realaus laiko DataFlow statusą ir derinimo atsiliepimus.

Kas naujo , šioje laidoje:

• ServerLogic # closeIdleClients metodas buvo pakeistas siekiant geriau suderinti vartotojo intuityvi sąvoka dykinėjimas. "
• vartotojo parinktis nurodo serverio hostname buvo pridėta.
• Tinklo vidinės buvo perdarytas naudoti naujas API.
• statyti procesas buvo atnaujintas ir teikti paramą 32- ir 64-bitų Windows kryžminio kompiliaciją.
• dapper. * Hierarchija buvo pervadinta į org.dapper. *.

Kas naujo versija 0,96:

• Pridėta FlowListener abstrakciją, kad vartotojai dabar gali asocijuota metaduomenys su dataflows ir jų mazgų.
• Ištaisyta Atminties nutekėjimas į Dapper serveryje.
• Įdiegtas apiviz doclet žodžius, kad santykiai tarp klasių gali būti geriau vizualizuojami.
• Pridėta apiviz vizualizavimo priklausomybių į Javadoc.
• Fiksuotas vabalėlis į BuildAndTest vykdomąjį.
• statyti procesas dabar yra visiškai integruota su Apache Ivy. Šaltinis paskirstymo dabar ilgesni laivai su BPV. Vietoj to, priklausomybės automatiškai perkelti; jei taip nepadaroma, galima atsisiųsti SST šaltinį, kaupia jį, ir paskelbia, kad vietos saugykloje. Peržiūrėti vartotojo vadovą dėl išsamesnės informacijos.
• Atnaujinta statyti procesas ir pašalinti nereikalingas žingsniai.
• Normalizuota Autorių teisės ir licencija pranešimai visose bylose.
• "Java 1.6 dabar reikia pastatyti ir paleisti.
• Pakeisti statyti procesas naudoti Apache Ivy, o tai reiškia, kad išorės priklausomybės nebeturi būti supakuota su BPV, pagrindinis paskirstymo.
• Pridėta 'doxygen "tikslas sukurti procesą, kad gimtoji komponentai gali būti dokumentuoti.

Kas naujo versija 0.95:

• naujas, lanksti medienos ruoša infrastruktūra buvo įtraukta
• Initializers medienos ruošos struktūrų buvo perkeltas iš serverio ir kliento klases ir į vairuotojų.
• Baigtinių valstybinės mašinos buvo atnaujinti į naują anotacijos varoma API.
• kodo buvo normalizuotas turime 8 vietas vietoj skirtukus.

Kas naujo versija 0,94:

• komandų eilutės parinktis, dėl kliento ir serverio yra dabar prieinamas, mandagumo Apache Commons CLI bibliotekoje.
• klientas procesas gyvavimo ciklo dabar apibrėžiamas kaip baigiasi, kai iš serverio atjungimo atsitinka.
• Kamieninių kartos funkcionalumas persikėlė gražu narys metodas OutputHandleResource jas statinis metodas CodeletUtilities.
• FlowNodeFactory klasė naudojama naudai tiesiogiai momentinė iš FlowNodes.
• Statybos vietinių komponentų migravo į cmake.
• Miškininkystė buvo perkelta į SLF4J.
• README buvo įtraukta į visų skirstinių.

Kas naujo versija 0.93.

• pagyvėjo pedagoginė pavyzdžiai;
• Atnaujinta vadovas.
• Papildomam patogumui kasdienybe į dapper.codelet.CodeletUtilities už išteklių užklausoms.
• Pašalinta generatorius, FileEdge, FileBatchGenerator, FileBatchEdge, FileResource ir FileBatchResource. Jie buvo pakeisti su abstrakčių duomenų rankenomis koncepcijoje HandleEdge, InputHandleResource, OutputHandleResource forma. Žr vadovą pokyčių.
• Atnaujinta dapper.codelet.Resource eksportuoti įvesties ir išvesties srautus.

Reikalavimai

• Java 2 Standard Edition Runtime Environment "