Hadoopy

"Tai iš esmės Python biblioteka MapReduce parašytas Cython

Įranga .

• Panašus sąsaja kaip Hadoop API (dizaino modelius, naudojamus tarp Python / Java sąsajų),
• Bendra suderinamumas su rajono DUMBO, kad vartotojai galėtų pereiti atgal ir pirmyn;
• Naudingas ant Hadoop grupių be Python ar admin prieigos;
• Greitas konversijos ir perdirbimo;
• Stay mažos ir gerai dokumentuota,
• būti skaidrūs su tuo, kas vyksta
• Rankenėlės programos su sudėtingų .Taigi-aisiais, ctypes ir plėtinių,
• Kodas parašyta hack-gebėjimo;
• Paprasta HDFS prieiga (pvz, skaitymas, rašymas, Lt),
• Pagalba (o ne atkartoti) didesnį Hadoop ekosistemą (pvz Oozie, Švīkoņa)
• Automatizuotas darbo Lygiagretinimas "Auto-oozie" prieinama hadoopy srauto projekto (palaikoma iš filialas);
• Vietinis vykdymas nemodifikuoto MapReduce darbo su launch_local
• skaityti / rašyti seka failus TypedBytes tiesiogiai į HDFS iš python (readtb, writetb);
• Leidžia spausdinti į stdout ir stderr į Hadoop užduotis nesukeliant problemų (naudoja "vamzdis hopping" techniką, abu yra prieinama užduotį anketa stderr)
• Darbai grupių be jokio papildomo įdiegimo, Python, arba bet Python bibliotekas (naudoja Pyinstaller, kad yra įtrauktas į šį kodo medį)
• Kūrinių OS X "
• kritinis kelias yra Cython
• Paprasta HDFS prieiga (readtb ir Ls) viduje Python, net viduje veikia darbo vietų;
• vieneto testas sąsaja;
• Ataskaitų naudojant būsena ir skaitikliai (ir spausdinti pareiškimai! Nereikia bijoti jų Hadoopy)
• Palaiko dizaino modelius į Lin & Dyer knygos "
• Typedbytes parama (labai greitai)
• Oozie parama;

Reikalavimai

• Cython 0,13 arba didesnis;