Apache Hive

"Apache avilys pirmą kartą buvo sukurta kaip Apache Hadoop paprojekčio už teikiant Hadoop administratoriams lengva naudotis, mokėtų užklausų kalba už savo duomenų.
Dėl šios priežasties, avilys buvo sukurtas nuo pat pradžių dirbti su dideliais kiekiais informacijos apie kiekvieną užklausą ir yra puikiai pritaikyta stambiems duomenų bazių ir verslo aplinkoje.
Įrankiai yra įtraukti lengvai pakrauti, ištraukimo ir transformuojant duomenis, o pagal užsakymą duomenų struktūros gali būti primetamas plataus rinkinio duomenų formatus.
Nuo tai yra Hadoop susijusių projektas HDFS ir HBase projektai taip pat automatiškai palaikoma.
HiveQL yra tikriausiai geriausias projekto dalis, teikti paprastą, naujovišką ir veiksmingą užklausų kalba, o taip pat yra sugeba mapperiais ir reduktoriai tais atvejais, kai gimtoji SQL sintaksė negali gauti norimą informaciją.

Kas naujo , šioje laidoje:

• Paramos uncorrelated antrines užklausas WHERE
• Pridėti NULL apibrėžiama kaip į eilės formato specifikacijas;
• Ccreate / lašas duomenų bazė turėtų užpildyti įėjimais / išėjimais ir patikrinkite lygiagretumą ir vartotojo sutikimą,
• Pagalba nustatoma mastą ir preciziškumas avilys dešimtainiai tipą
• Tebūnie "Tez
• sprogti funkciją, kuri apima elemento poziciją masyvo
• Pridėti char duomenų tipą
• Sukurti rinkti UDF ir padaryti vertintoją daugkartinio naudojimo;
• Išplėsti įrašas rašytojas ir ORC nuskaitymo / įrašymo sąsajas teikti statistinius duomenis;
• Įgyvendinti statistiką teikiančias Orc rašytojas ir skaitytojas sąsajas;
• Komentuoti avilio operatoriaus medį su statistiniais metastore
• Pateikite juostele lygio stulpelių statistiką ORC
• Subquery palaikymas: uždrausti lizdus iš subqueries
• Subquery palaikymas: leidžia Subquery išraiškas turintys sąlygą
• Subquery palaikymas: daugiau bandymų
• Gimtoji parketas Parama avilį
• avilys turėtų galėti praleisti Parašą eilučių skaitant duomenų failą stalo
• Pridėti šiol išdėstymą laiko dešimtųjų, CHAR, VARCHAR tipai paremti HCat
• Naudoti žemėlapis-prisijungti užuominą į talpyklą tarpinį rezultatą;
• Pridėti UDF apskaičiuoti atstumą tarp geografinių koordinačių;

Kas naujo versijos 1.2.0:

• Paramos uncorrelated antrines užklausas WHERE
• Pridėti NULL apibrėžiama kaip į eilės formato specifikacijas;
• Ccreate / lašas duomenų bazė turėtų užpildyti įėjimais / išėjimais ir patikrinkite lygiagretumą ir vartotojo sutikimą,
• Pagalba nustatoma mastą ir preciziškumas avilys dešimtainiai tipą
• Tebūnie "Tez
• sprogti funkciją, kuri apima elemento poziciją masyvo
• Pridėti char duomenų tipą
• Sukurti rinkti UDF ir padaryti vertintoją daugkartinio naudojimo;
• Išplėsti įrašas rašytojas ir ORC nuskaitymo / įrašymo sąsajas teikti statistinius duomenis;
• Įgyvendinti statistiką teikiančias Orc rašytojas ir skaitytojas sąsajas;
• Komentuoti avilio operatoriaus medį su statistiniais metastore
• Pateikite juostele lygio stulpelių statistiką ORC
• Subquery palaikymas: uždrausti lizdus iš subqueries
• Subquery palaikymas: leidžia Subquery išraiškas turintys sąlygą
• Subquery palaikymas: daugiau bandymų
• Gimtoji parketas Parama avilį
• avilys turėtų galėti praleisti Parašą eilučių skaitant duomenų failą stalo
• Pridėti šiol išdėstymą laiko dešimtųjų, CHAR, VARCHAR tipai paremti HCat
• Naudoti žemėlapis-prisijungti užuominą į talpyklą tarpinį rezultatą;
• Pridėti UDF apskaičiuoti atstumą tarp geografinių koordinačių;

Kas naujo versijos 1.1.0:

• Paramos uncorrelated antrines užklausas WHERE
• Pridėti NULL apibrėžiama kaip į eilės formato specifikacijas;
• Ccreate / lašas duomenų bazė turėtų užpildyti įėjimais / išėjimais ir patikrinkite lygiagretumą ir vartotojo sutikimą,
• Pagalba nustatoma mastą ir preciziškumas avilys dešimtainiai tipą
• Tebūnie "Tez
• sprogti funkciją, kuri apima elemento poziciją masyvo
• Pridėti char duomenų tipą
• Sukurti rinkti UDF ir padaryti vertintoją daugkartinio naudojimo;
• Išplėsti įrašas rašytojas ir ORC nuskaitymo / įrašymo sąsajas teikti statistinius duomenis;
• Įgyvendinti statistiką teikiančias Orc rašytojas ir skaitytojas sąsajas;
• Komentuoti avilio operatoriaus medį su statistiniais metastore
• Pateikite juostele lygio stulpelių statistiką ORC
• Subquery palaikymas: uždrausti lizdus iš subqueries
• Subquery palaikymas: leidžia Subquery išraiškas turintys sąlygą
• Subquery palaikymas: daugiau bandymų
• Gimtoji parketas Parama avilį
• avilys turėtų galėti praleisti Parašą eilučių skaitant duomenų failą stalo
• Pridėti šiol išdėstymą laiko dešimtųjų, CHAR, VARCHAR tipai paremti HCat
• Naudoti žemėlapis-prisijungti užuominą į talpyklą tarpinį rezultatą;
• Pridėti UDF apskaičiuoti atstumą tarp geografinių koordinačių;

Kas naujo versijos 1.0.0:

• Paramos uncorrelated antrines užklausas WHERE
• Pridėti NULL apibrėžiama kaip į eilės formato specifikacijas;
• Ccreate / lašas duomenų bazė turėtų užpildyti įėjimais / išėjimais ir patikrinkite lygiagretumą ir vartotojo sutikimą,
• Pagalba nustatoma mastą ir preciziškumas avilys dešimtainiai tipą
• Tebūnie "Tez
• sprogti funkciją, kuri apima elemento poziciją masyvo
• Pridėti char duomenų tipą
• Sukurti rinkti UDF ir padaryti vertintoją daugkartinio naudojimo;
• Išplėsti įrašas rašytojas ir ORC nuskaitymo / įrašymo sąsajas teikti statistinius duomenis;
• Įgyvendinti statistiką teikiančias Orc rašytojas ir skaitytojas sąsajas;
• Komentuoti avilio operatoriaus medį su statistiniais metastore
• Pateikite juostele lygio stulpelių statistiką ORC
• Subquery palaikymas: uždrausti lizdus iš subqueries
• Subquery palaikymas: leidžia Subquery išraiškas turintys sąlygą
• Subquery palaikymas: daugiau bandymų
• Gimtoji parketas Parama avilį
• avilys turėtų galėti praleisti Parašą eilučių skaitant duomenų failą stalo
• Pridėti šiol išdėstymą laiko dešimtųjų, CHAR, VARCHAR tipai paremti HCat
• Naudoti žemėlapis-prisijungti užuominą į talpyklą tarpinį rezultatą;
• Pridėti UDF apskaičiuoti atstumą tarp geografinių koordinačių;

Kas naujo versijos 0.8.1:

• Įrankiai galėtų lengvai duomenų ekstraktas / transformuoti / apkrovos (ETL).
• mechanizmas nustatyti struktūrą nuo duomenų formatų įvairovė.
• Prieiga prie failų, saugomų tiesiogiai Apache HDFS (tm) arba kitais duomenų saugojimo sistemų, tokių kaip Apache HBase (TM).
• Užklausa vykdymas per MapReduce.

Kas naujo versijos 0.8.0:

• Įrankiai galėtų lengvai duomenų ekstraktas / transformuoti / apkrovos (ETL)
• mechanizmas nustatyti struktūrą nuo duomenų formatų įvairovė;
• Prieiga prie failų, saugomų tiesiogiai Apache HDFS (tm) arba kitais duomenų saugojimo sistemų, tokių kaip Apache HBase (TM)
• Užklausa vykdymas per MapReduce

Kas naujo versijos 0.7.1:

• Klaidos:
• Išimtis ant langų, kai naudojant JDBC tvarkyklę. & quot; IOException:. Sistema negali rasti kelią nurodyta & quot;
• Schemos kūrimo scenarijai yra neišsamūs, nes jie palikti lenteles, kurie yra būdingi DataNucleus.
• Patobulinimai:
• Pagerinti įvairūs pranešimai apie klaidas.
• Grįžti teisingus Pagrindinės / papildoma versija numerius JDBC Avilys tvarkyklės.
• Pridėti HivePreparedStatement įgyvendinimą remiantis dabartine AVILIO palaiko duomenų tipą.
• Užduotys:
• avilys į Maven.
• Pateikite Metastore atnaujinti scenarijus ir numatytuosius schemas PostgreSQL.

Kas naujo versijos 0.7.0:

• Nauja funkcija:
• Autorizacija infrastruktūra avilį
• Įgyvendinti Indeksavimas avilį
• Pridėti atspindi () UDF skirtos atspindinčios pritaikymo Java metodų
• avilys TypeInfo / ObjectInspector remti sąjungą (be struct, masyvas, ir žemėlapyje)
• Įgyvendinti GenericUDF str_to_map
• Tinklo remti ATSIŽVELGDAMOS išlyga į avilį
• Sekti prisijungia kurie yra konvertuojami į žemėlapį-prisijungti automatiškai
• Ryšio dažnumas ir trukmė metrika HiveMetaStore per JMX
• Išlaikyti lastAccessTime į metastore
• tobulinimas:
• Pateikite galimybę eksportuoti antraštė
• Parama atskira atranka dėl dviejų ar daugiau stulpelių,
• Apibūdinkite pratęstas lentelė / skirsnių produkcija yra paslaptingas
• Trūksta šiek tiek JDBC funkcionalumą kaip getTables, getColumns ir HiveResultSet.get * metodus, grindžiamus stulpelio pavadinimo.
• Palietus žurnalus iš vaikų procesus;
• Pagalba filtras parduotuvės atmintį prieš nevietinių lentelių
• Pakeisti priklausomybes nuo HBase atgyvenę API
• Pridėti queryid o fiksavimo
• Atnaujinti transident_lastDdlTime tik tada, jei nenurodyta
• Pridėti daugiau derinimo informaciją avilio užrakinimui
• HiveInputFormat arba CombineHiveInputFormat visada sinchronizuoti blokus RCFile du kartus;
• Rodyti laiką vietinis užduotis turėjo
• Sukurti naują Zookeeper pavyzdžiui, kai bandymas kartojamas užraktas, ir dar daugiau info debug "
• Pridėti parinktį paleisti užduotį patikrinti Kartografavimo prisijungti galimybė ne vietos režimu
• Daugiau derinimo su fiksatoriumi;
• Pridėti parinktį dinaminių pertvarų intarpais mesti klaidą, jei 0 pertvaros yra sukurtos
• Klaidos:
• & quot; LOAD DATA LOCAL INPATH & quot; nepavyksta, kai stalą jau yra to paties pavadinimo failą
• NULL nėra tvarkomi teisingai sujungti
• HiveInputFormat.getInputFormatFromCache & quot; kregždės & quot; priežastis išimtis, kai mesti IOExcpetion
• Pridėti pažangą prisijungti ir groupby
• Paprasta UDAFs su daugiau nei 1 parametro katastrofos tuščią eilutę užklausą
• UDF laukas () neveikia
• Dinaminiai pertvarų įdėklai paliktas tuščias failai neišvalytų į Hadoop 0,17 vietinis režimas
• Pereiti kovos atnaujinta tada, kai RunningJob.getCounters () grąžina NULL

Kas naujo versijos 0.5.0.

• Tegul vartotojas nurodo Tabletės branduolys Custom scenarijus
• Pridėti UDF unhex.
• Pašalinti lzocodec importą iš FileSinkOperator.
• Vairuotojo NullPointerException skambinant getResults be pirmojo kompiliuojant.
• Veiklos gerinimas RCFile ir ColumnarSerDe į avilį.