Apache Spark

Uždegimo buvo sukurta siekiant pagerinti apdorojimo greitis duomenų analizė ir manipuliavimo programomis.
Ji buvo parašyta "Java" ir Scala ir suteikia funkcijas nerasta kitose sistemose, daugiausia, nes jie nėra integruoti, nei kad naudinga ne duomenų apdorojimo programas.

Kas naujo šioje versijoje:.

• API pagrindas dabar palaiko multi-lygio agregavimo medžius, kurie padės pagreitinti brangus sumažinti veiklą;


• Geresnis klaidos pranešimo buvo pridėta tam tikrų kabliuko operacijas.
• SPARK anketa Jetty priklausomybė dabar tamsesniame padėti išvengti konfliktų su vartotojo programas.
• Uždegimo dabar palaiko SSL šifravimą kai ryšio parametrus.


• Realusis laikas GC metrikos ir įrašų skaičius buvo įtraukta į UI.

Kas yra naujų versijos 1.3.0:

• API pagrindas dabar palaiko multi-lygio agregacijos medžiai padėti paspartinti brangus sumažinti veiklą.


• Geresnis klaidos pranešimo buvo pridėta tam tikrų kabliuko operacijas.
• SPARK anketa Jetty priklausomybė dabar tamsesniame padėti išvengti konfliktų su vartotojo programas.
• Uždegimo dabar palaiko SSL šifravimą kai ryšio parametrus.


• Realusis laikas GC metrikos ir įrašų skaičius buvo įtraukta į UI.

Kas naujo versijos 1.2.1:

• PySpark tarsi operatorius dabar palaiko išorinį pereinanti didelėms duomenų bazėms .
• PySpark dabar palaiko broadcast kintamieji didesni nei 2GB ir atlieka išorinį pereinanti per rūšių.
• Uždegimo prideda darbo lygio pažangos puslapyje Spark UI, stabilų API pažangos ataskaitų ir dinamišką atnaujinimą išvesties metrikų kaip darbo vietų visiškai.
• Uždegimo dabar turi remti skaityti dvejetainius failus vaizdų ir kitų dvejetainius formatus.

Kas naujo versijos 1.0.0:

• Ši laida plečia Spark standartiniai bibliotekas, įvedant naują "SQL paketas (su kibirkštiniu SQL), kuri leidžia vartotojams integruoti SQL užklausas į esamas Spark darbo krūvius.
• MLlib, uždegimo anketa mašina mokymo biblioteka, yra išplėsta su retais vektoriaus paramos ir keletą naujų algoritmų.

Kas naujo versijos 0.9.1:

• Fiksuotas maišos susidūrimo klaidą išorės išsiliejimą;
• Fiksuotas konfliktas su kibirkštiniu anketa log4j vartotojams remiasi kitų kirtimų backends
• Fiksuotas Graphx trūksta kibirkštiniu surinkimo indelį į maven stato,
• Fiksuoti tylus gedimai, atsiradę dėl žemėlapį išėjimo būseną kaip "Akka rėmo dydis,
• ištrintas Spark nereikalinga tiesioginė priklausomybė nuo ASM;
• Pašalinta metrikos-nervą numatytąją statyti dėl LGPL licencijos konflikto;
• Ištaisyta klaida paskirstymo archyve kurių sudėtyje nėra kibirkšties surinkimo indas;

Kas naujo versijos 0.8.0:

• plėtros persikėlė į Apache Sowftware fondu, kaip inkubatorius projektas.

Kas naujo versijos 0.7.3:

• Python Našumas: Spark mechanizmas nerštas Python VM turi buvo patobulintas, kad tai padaryti greičiau, kai JVM turi didelę krūvos dydį, spartinti Python API.
• months nustato: dabar JAR įtraukti į savo darbą bus classpath kai deserializing užduočių rezultatus months
.
• Klaida ataskaitų. Geriau klaida ataskaitų ne Serializable išimtis ir pernelyg didelių užduoties rezultatai "
• Pavyzdžiai:. Įrašytas į seansus stebinčia srauto apdorojimo pavyzdį updateStateByKey
• Sudėjimas:. Kibirkštiniu Srautinio nebėra priklauso nuo Twitter4J atpirkimo, kuris turėtų leisti jai statyti Kinijoje,
• Klaidų pataisymai in foldByKey, transliacijos skaičius, statistika metodai, dokumentai ir interneto sąsaja.

Kas naujo versijos 0.7.2.

• Scala "versija atnaujintas iki 2.9.3
• Keletas patobulinimų Bagel, įskaitant veiklos pataisymai ir konfigūruojama saugojimo lygiu.
• Nauja API metodai. SubtractByKey, foldByKey, mapWith, filterWith, foreachPartition ir kiti;
• naujos metrikos ataskaitų sąsaja, SparkListener, rinkti informaciją apie kiekvieno skaičiavimo etape. Užduočių ilgio, baitai išmaišytos ir tt
• keli nauji pavyzdžiai, naudojant Java API, įskaitant K priemonėmis ir skaičiavimo pi.

Kas naujo versijos 0.7.0:

• Spark 0,7 prideda Python API vadinamas PySpark <. / Li>
• Uždegimo darbo vietų dabar pradėti interneto informacijos suvestinę stebėti atminties kiekvieno platinamas rinkinį (RDD) programoje.
• Uždegimo dabar gali būti sukurta naudojant Maven be atskirto švaraus balasto tanku.

Kas naujo versijos 0.6.1:

• Fiksuotas agresyvūs žinutė praėjęs laikas, kuris gali sukelti darbuotojams atsijungti nuo klasterius.
• Ištaisyta į atskirą dislokuoti režimu klaidą, kad nebuvo atskleisti as į planavimo, turinčių įtakos HDFS vietovę.
• Geresnis ryšys pakartotinis naudojimas shuffle, kuris gali gerokai pagreitinti nedidelių Shuffles.
• Fiksuoti keletas galimų aklavietės bloke vadovu.
• Ištaisyta klaida gauti ID nepavykusio kompiuteriai iš months.
• Keletas EC2 scenarijų patobulinimai, pavyzdžiui, geresnio tvarkymo vietoje atvejų.
• Pagamintas vietos IP adresas, kibirkštiniu jungiasi prie pritaikoma.
• Parama Hadoop 2 skirstinių.
• Parama ieškant Scala Debian distribucijos.

Kas naujo versijos 0.6.0.

• Paprastesnis diegimas;
• SPARK dokumentacija buvo išplėsta su nauju Greitos pradžios vadovas, papildomas diegimo instrukcijas, konfigūracijos gidas, Tiuningas vadovas, ir pagerinti Scaladoc API dokumentaciją.
• Naujoji komunikacija vadybininkas naudojant asinchroninį "Java NIO leidžia shuffle operacijos paleisti greičiau, ypač siunčiant didelius duomenų kiekius arba kai darbo turi daug užduočių.
• Naujas Storage Manager palaiko už rinkinį saugojimo lygio nustatymai (pavyzdžiui, ar išlaikyti rinkinį atmintyje, deserialized, diske, ir tt, ar net pakartoti visoje mazgų).
• Glaudesnis derinimo.