Apache Spark

"Apache" Kibirkšties " buvo sukurta siekiant pagerinti apdorojimo greičius duomenų analizė ir manipuliavimo programomis.

Jis buvo parašyta "Java" ir Scala ir suteikia savybėmis, kurių nėra kitose sistemose, daugiausia, nes jie nėra integruoti, nei, kad naudinga ne duomenų apdorojimo programas.

Uždegimo pirmą kartą buvo sukurta UC Berkeley MVP Lab, o vėliau paaukoti Apache Software Foundation

Kas naujo , šioje laidoje.

• Unified atminties valdymas -. Bendroji atmintis vykdymo ir spartinimo vietoj išskirtinėje padalijimo regionams;
• Parketas spektaklio - Gerinti parketas skenavimo rezultatus naudojant plokščius schemas;
.
• Geresnis užklausos planuotojas užklausų su atskiromis apibendrinus -. Užklausa planai skirtingų apibendrinimo yra labiau patikimas, kai atskiri stulpeliai turi aukštą kardinalumo
• Prisitaikanti užklausos vykdymas -. Pradinė parama automatiškai pasirenkant reduktorius prisijungia ir apibendrinimo skaičių;
• išvengiant dvigubo filtrai duomenų šaltinio API -. Kai įgyvendinant duomenų šaltinį su filtro parduotuvės atmintį, kūrėjai dabar gali pasakyti Spark SQL išvengti dvigubo vertinimo stumiamą apačią filtrą;
• Greitas niekinis saugus prisijungia - Sujungti naudojant niekinis saugus lygybės (& # x3c; = & # x3e;) dabar atliks naudojant SortMergeJoin vietoj apskaičiuodama cartisian produktą;
.
• In-atminties Columnar Cache spektaklio - Didelė (iki 14 kartų) paspartinti kai spartinimo duomenis, kuriame sudėtingus tipų DataFrames ar SQL;
.
• SQL vykdymo Naudojant Off krūvos atmintis - parama konfigūruoti užklausos vykdymą atsirasti naudojant ne krūvos atminties išvengti GC važtaraščius;

Kas yra naujų versijos 1.5.2:

• šerdis API dabar palaiko multi-lygio agregacijos medžiai padėti pagreitinti brangus sumažinti veiklą.
• Geresnis klaidos pranešimo buvo pridėta tam tikrų kabliuko operacijas.
• SPARK anketa Jetty priklausomybė dabar tamsesniame padėti išvengti konfliktų su vartotojo programas.
• Uždegimo dabar palaiko SSL šifravimą kai ryšio parametrus.
• Realaus laiko GC metrikos ir įrašų skaičius buvo įtraukta į UI.

Kas yra naujų versijos 1.4.0:

• šerdis API dabar palaiko multi-lygio agregacijos medžiai padėti pagreitinti brangus sumažinti veiklą.
• Geresnis klaidos pranešimo buvo pridėta tam tikrų kabliuko operacijas.
• SPARK anketa Jetty priklausomybė dabar tamsesniame padėti išvengti konfliktų su vartotojo programas.
• Uždegimo dabar palaiko SSL šifravimą kai ryšio parametrus.
• Realaus laiko GC metrikos ir įrašų skaičius buvo įtraukta į UI.

Kas naujo versijos 1.2.0:

• PySpark tarsi operatorius dabar palaiko išorinį praliejimas didelėms duomenų bazėms .
• PySpark dabar palaiko broadcast kintamieji didesni nei 2GB ir atlieka išorinį pereinanti per rūšių.
• Uždegimo prideda darbo lygio pažangos puslapį Spark UI, stabilus API pažangos ataskaitų ir dinamišką atnaujinimą išvesties metrikos kaip darbo vietų visiškai.
• Uždegimo dabar turi remti skaityti dvejetainius failus vaizdų ir kitų dvejetainius formatus.

Kas naujo versijos 1.0.0:

• Ši laida plečia SPARK standartiniai bibliotekas, įvedant naujas "SQL paketas (Uždegimo SQL), kad leidžia vartotojams integruoti SQL užklausas į esamas Spark darbo krūvius.
• MLlib, Spark anketa mašina mokymo biblioteka, yra išplėsta su retais vektoriaus paramos ir keletą naujų algoritmų.

Kas naujo versijos 0.9.1:

• Fiksuotas maišos susidūrimo klaidą išorės išsiliejimą;
• Fiksuotas konfliktas su kibirkštiniu anketa log4j vartotojams remiasi kitų kirtimų backends
• Fiksuotas Graphx trūksta Uždegimo surinkimo indelį į maven stato;
• Fiksuoti tylus gedimas dėl map išėjimo būseną kaip "Akka rėmo dydis;
• ištrintas SPARK nereikalinga tiesioginė priklausomybė nuo ASM;
• Pašalintos metrikos-nervą numatytąją statyti dėl LGPL licencijos konflikto;
• Ištaisyta klaida paskirstymo archyve kurių sudėtyje nėra kibirkšties surinkimo indas;

Kas naujo versijos 0.8.0:

• plėtros persikėlė į Apache Sowftware fondo kaip inkubatorius projektas.

Kas naujo versijos 0.7.3:

• Python Našumas: Spark anketa mechanizmas neršto Python VM turi buvo patobulintas, kad tai padaryti greičiau, kai JVM turi didelę krūvos dydį, spartinti Python API.
• months nustato: JAR įtraukti į savo darbą, dabar bus classpath kai deserializing užduočių rezultatus months
.
• Klaida ataskaitos:. Geriau klaida atskaitomybė ne serializable išimtis ir pernelyg didelių užduoties rezultatai "
• Pavyzdžiai:. Įrašytas į seansus stebinčia srauto apdorojimo pavyzdį updateStateByKey
• Sudėjimas:. Kibirkštiniu Srautinio nebėra priklauso nuo Twitter4J atpirkimo, kuris turėtų leisti jai statyti Kinijoje,
• Klaidų pataisymai in foldByKey, transliacijos skaičius, statistika metodai, dokumentai ir interneto sąsaja.

Kas naujo versija 0.7.2.

• Scala "versija atnaujinta į 2.9.3
• Keletas patobulinimų Bagel, įskaitant veiklos pataisymai ir konfigūruojama saugojimo lygį.
• Naujos API metodai:. SubtractByKey, foldByKey, mapWith, filterWith, foreachPartition ir kt;
• metrika ataskaitų sąsaja, SparkListener, rinkti informaciją apie kiekvieno skaičiavimo etape. Užduočių ilgio, baitai išmaišytos ir tt
• Kelios naujos pavyzdžiai naudojant Java API, įskaitant K priemonėmis ir skaičiavimo pi.

Kas naujo versijos 0.7.0:

• Spark 0,7 prideda Python API vadinamas PySpark <. / Li>
• Uždegimo darbo vietų dabar pradėti interneto informacijos suvestinę atminties naudojimą kiekvienai platinamas rinkinį (RDD) programoje stebėseną.
• Uždegimo dabar gali būti pastatytas naudojant Specialistė be atskirto švaraus balasto tanku.

Kas naujo versijos 0.6.1:

• Fiksuotas agresyvūs žinutė praėjęs laikas, kurios gali sukelti darbuotojams atsijungti nuo grupės.
• Ištaisyta klaida į atskirą dislokuoti režimą, kuris nebuvo atskleisti vardai as į planavimo, turinčių įtakos HDF vietovėje.
• Geresnis ryšys pakartotinis naudojimas shuffle, kuris gali gerokai pagreitinti nedidelių Shuffles.
• Fiksuoti keletas galimų aklavietės bloke vadovu.
• Ištaisyta klaida gauti ID nepavykusio kompiuteriai iš months.
• Keletas EC2 scenarijų patobulinimai, kaip geriau tvarkyti vietoje atvejais.
• Pagamintas vietos IP adresas, Spark "jungiasi prie pritaikoma.
• Parama Hadoop 2 paskirstymo. "
• Parama ieškant Scala Debian distribucijos.

Kas naujo versija 0.6.0.

• Paprastesnis diegimas;
• SPARK dokumentacija buvo išplėsta su nauju Greitos pradžios vadovas, papildomas diegimo instrukcijas, konfigūracijos gidas, tiuningas vadovo, ir pagerinti Scaladoc API dokumentaciją.
• nauja Komunikacijos vadovė naudojant asinchroninį Java NIO leidžia shuffle operacijos paleisti greičiau, ypač siunčiant didelius duomenų kiekius arba kai darbo turi daug užduočių.
• Naujas Storage Manager palaiko už rinkinį saugojimo lygio nustatymai (pvz, ar išlaikyti rinkinį atmintyje, deserialized, diske, ir tt, ar net pakartoti visoje mazgų).
• Glaudesnis derinimo.