DataCleaner

DataCleaner yra atviro kodo ir visiškai nemokama sprendimas organizacijoms ir įmonėms, norinčioms padidinti ir įvertinti jų duomenų kokybę.
Su DataCleaner, vartotojai galės profilis, lyginti, patikrinti duomenis nuo verslo taisyklių ir stebėti šių matavimų progresavimą per tam tikrą laiką.
Tarp jos funkcijų, galime paminėti duomenų stebėjimą, duomenų skirstymas ir DQ analizė, duomenų valymas ir sodrinimo operacijos, aptikti ir sujungti dublikatų, klientų duomenų kokybę, taip pat super greitai ETLightweight (ištrauka-Transform-apkrova).
Norėdami sužinoti daugiau apie DataCleaner funkcijų ir sugebėjimų, taip pat, kaip su juo dirbti, prašome kreiptis į http://eobjects.dk/docs

What naujo , šioje laidoje :

• Patobulinimai ir naujos funkcijos: "
• Mes padarėme įmanoma sukurti ir upuść lenteles per darbastalio UI DataCleaner. Atkreipkite dėmesį, kad į Terminas "stalo & quot; čia iš tikrųjų apima daugiau nei tik reliacinės duomenų bazės lentelėse. Ji taip pat apima lapų MS Excel duomenų saugyklomis, kolekcijų MongoDB, dokumentų tipus CouchDB ir ElasticSearch ir tt ... Iš esmės visi duomenų saugojimo debesyje tipai, kurie palaiko įrašymo operacijų, išskyrus vieno stalo duomenų saugyklomis, pavyzdžiui, CSV duomenų saugyklomis, paremti šį funkcionalumą! Funkcionalumas yra veikiami per:
• & quot; Sukurti lentelę & quot; leido per dešinįjį pelės mygtuku spustelėkite meniu schemas į kairėje pusėje taikymo medį.
• & quot; Sukurti lentelę & quot; įjungtas, taip pat per stalo atrankos žaliavų komponentų, tokių kaip INSERT INTO lentelės, peržvalgos ir atnaujinti lentelę.
• & quot; lašas stalo & quot; leido per dešinįjį pelės mygtuku spustelėkite meniu lentelių kairėje pusėje taikymo medį.
• Mes pridėjome (neprivaloma) pajėgumus nurodant savo SALESFORCE.COM interneto paslauga Endpoint URL. Tai leidžia jums naudoti DataCleaner prisijungti prie Sandbox aplinkų Salesforce.com taip pat į savo pasirinktinį parametrus.
• ElasticSearch parama buvo patobulinta, kad būtų pasirinktinius rodymo, taip pat pakartotinai tokius ElasticSearch DataStore apibrėžimus dabar taip pat paieškos ir indeksavimo.
• įrašus ir atrankos potencialių dviem egzemplioriais dublikato aptikimo funkciją, atranka buvo patobulinta, todėl greičiau konfigūracijos, nes priimti sprendimai per treniruotę yra daugiau atstovas.
• pasikartojančius aptikimo modelis failo formatas buvo atnaujintas, kurie buvo pašalinti už atskirą referencinį "failą reikia siekiant išsaugoti praeities mokymo sprendimus. Suderinamumas su senuoju formatu buvo palikta, bet naudojant naują formatą prideda daug naudos vartotojo patirtį.
• Klaidų ištaisymas:
• sriegis bado problema buvo nustatyta DataCleaner monitoriaus. Šio klausimo poveikis buvo didelis, tačiau tai atsitiko tik retais ir labai individualų atvejais. Jei užsakymą klausytojas objektus DataCleaner monitoriaus mesdavo klaidą, ji lemtų ištekliaus niekada būti atlaisvintos ir pradėjimo siūlai iš kvarco tvarkaraščių baseinas serveryje. Jei tai nutiktų, daug kartų serveris ilgainiui galėtų paleisti iš siūlų, kurie sujungia.
• Vertikalus meniu Rezultatų ekrane dabar daro tinkamą darbą rodyti komponentų, kurie rezultatus etiketes. Tai leidžia lengviau atpažinti, kuris meniu punktas taškų Kokio rezultato prekę nėra.

Kas naujo versijos 3.5.7:

• "Sinonimas peržvalgos" transformacija dabar turi galimybę ieškoti kiekvieną įėjimo bilietą. Tai naudinga, jei jūs darote pakeitimo sinonimų per ilgo teksto lauke vertybes.
• Blokavimo vykdymą DataCleaner darbo vietų per monitoriaus interneto paslauga kartais tai gali nepavykti su klaida, kurią padarė blokavimo pokalbio. Ši problema buvo išspręsta.
• pagerėjimas padaryta pusę darbo ir komponentų seka yra uždaryti / išvalyti po vykdymą.
• jnlp / Java WebStart versija DataCleaner buvo veikiami pagal į Java runtime sukelia tam tikrus JAR failus negali būti pripažįstama, WebStart paleidimo, esant tam tikroms aplinkybėms klaidą. Šis klausimas buvo nustatytas darant nežymių pakeitimų tiems JAR failus.
• Keletas neveikiančias nuorodas į dokumentus, buvo nustatyta.

Kas naujo versijos 3.5.4:

• Tai dabar galima paslėpti išvesties stulpelius transformacijų , Slėpimas nepaveiks apdorojimo srautą ne visi, bet tiesiog juos paslėpti nuo vartotojo sąsają, taigi potencialiai priėmimo patirtis daugiau švarios, kai bendrauja su kitais komponentais.


• Nauja interneto paslauga buvo įtraukta į stebėsenos interneto paraišką, kuri suteikia galimybę Apklausa apie konkretaus darbo vykdymo būklę.
• klaidą buvo nustatyta, sukelia HTML ataskaitą žlugti tam tikrų analizės tipų, kai nėra įrašų buvo tvarkomi.
• ir 6 kitų nedidelių klaidą buvo adresuojami.

Kas naujo versijos 3.5.1:

• Fiksuoti pasikeitė įrašų:
• Naujas filtras buvo įtraukta, kad pavienių tvarkymą įrašų, kurie nebuvo perdirbti prieš, pvz profiliavimo ar kopijavimo tik keistas įrašus. The Nauji filtrai vardas Capture pasikeitė įrašus, nuoroda į Pakeisti duomenų surinkimo koncepciją.
• Laukia eilės vykdymas darbo:
• DataCleaner monitorius dabar eilėje į tą patį darbą vykdymą, jei jis suveikia kelis kartus. Tai užtikrina, kad jūs neturite netyčia paleisti tą patį darbą kartu, kuris gali sukelti įvairiais klausimais, priklausomai nuo to, ką daro darbą.
• Nedideli pataisymai: "
• Keletas pataisymai buvo įgyvendintas.

Kas naujo versija 3.5:

• Keletas burtininkai dabar yra registruoti duomenų saugyklomis; įskaitant failo įkelti į CSV failus, duomenų ryšio įrašą serveryje, vadovaujasi registravimo SALESFORCE.COM kredencialus ir dar daugiau.
• Darbas statybinių burtininkai taip pat buvo pratęstas keletą papildomomis funkcijomis; Atrankos vertės pasiskirstymo ir raštas ieškant laukus Greita analizės vedlys, visiškai naujas vedlys kurti EasyDQ remiantis klientų valymo darbo vietų ir naujų darbo vietų vedlys šaudymo Pentaho duomenų integravimo darbo (skaityti plačiau žemiau).
• Dabar galite ad hoc užklausas jokios DataStore tiesiai į interneto vartotojo sąsają. Tai daro tai lengva gauti greitus arba pavienius įžvalgas duomenų nekuriant darbo vietų ar kitų valdomas požiūrius duomenų tvarkymą.
• Kai darbo ar duomenų saugyklomis yra sukurta, vartotojas vadovaujasi imtis veiksmų su naujai pastatytas objektas. Pavyzdžiui, galite labai greitai paleisti darbą iš karto po ji pastatyta, ar užklausti DataStore po jis įregistruotas.
• Administratoriai dabar gali tiesiogiai įkelti darbo į kapinyną, kuris yra ypač patogu, jei norite rankomis redaguoti XML turinį darbo bylas.
• techninės cruft daug dabar paslėptas naudai rodo paprastus dialogus. Pavyzdžiui, kai darbas yra užfiksuojamas didelis pakrovimo indikatorius rodomas, o kai baigsite rezultatas bus parodyta. Išplėstinė medienos ruoša ekranas, kuris anksčiau buvo ten vis dar gali būti rodomas ant paspaudę papildomų detalių nuorodą.

Kas naujo versijos 3.1.2:

• Mes pridėjome interneto paslaugą stebėsenos paraišką gauti (sąrašas) metrinių vertybes. Tai daro stebėsena net labiau tinkami naudoti kaip pagrindinis infrastruktūros komponentas, kaip būdas stebėti duomenis (kokybės) ir atskleisti rezultatus trečiųjų šalių programų.
• "lentelė peržvalgos" komponentas buvo patobulintas pridedant prie semantiką kaip konfigūruojama turtą. Naudojant prisijungti semantiką galite įgnybti, jei norite, kad peržvalgos semantiškai dirbti kaip LEFT JOIN arba vidinis prisijungti.
• EasyDQ komponentai buvo modernizuotos, pridedant papildomų konfigūravimo galimybes ir turtingesnį pasikartojimo rezultatas sąsaja.
• Performance patobulinimų buvo konkretus dėmesys šioje laidoje. Patobulinimai buvo padaryta DataCleaner variklis toliau panaudoti transliacijos apdorojimo metodą tam tikrų kampe atvejais, kurie buvo neįtrauktos anksčiau.

Kas naujo versijos 3.1.1:

• Data ir laikas susiję analizės galimybės buvo išplėstos ir pridūrė, platinimo analizatoriai savaitę skaičių, mėnesius ir metus. Visi analizatoriai, susiję su datos ir laiko dabar sugrupuotas per submeniu vadinamas & quot; data ir laikas & quot; pagal & quot; Analizuoti & quot;.
• Neprivalomas & quot; aprašomosios statistikos & quot; galimybė buvo įtraukta į numerį analizatorių, ir Data / Laikas analizatorius. Ši parinktis prideda papildomų metrikas šių analizatorių, pavyzdžiui, mediana, Asimetrija, procentilių ir ekscesas rezultatus. Šie rodikliai yra neprivaloma, nes jų atminties pėdsakas yra šiek tiek didesnis nei esamas metrikos.
• Chronologija diagramas stebėsenos interneto taikymo linijos dabar turi mažus taškelius į juos. Tai ypač naudinga diagramas su keletą (ar net tik vieną) pastabose jų -. Priminti, tiksliai, kur stebėjimo taškai
• Užklausa analizatorius, kada kviesdavosi ad hoc užklausas taip pat buvo iš esmės pagerintas. Dabar užklausos gali būti skirtingas sąlygas * -wildcards, subqueries ir yra kaltės tolerantiškas į teksto bylos klausimų.
• Du nauji transformatoriai buvo pridėta generuoti UUID ir generuoti laiko žymes.

Kas naujo 3.1 versija:

• Metric formules - parengta duomenų kokybė KPI:
• Tai dabar galima statyti daug išsamesnis duomenų kokybė KPI į DataCleaner stebėsenos interneto programas. Vartotojo sąsaja leidžia jums sukurti sudėtingas formules skaičiuoklėje-kaip formule stiliaus; naudojant kintamųjų DataCleaner darbo vietų surinktus.
• Metric formules galite sujungti bet kokį metriką konstantų ir operacijų skaičių, kiek jis gali būti išreikštas matematine lygtimi.
• Pavyzdžiui - išmatuoti pasikartojančius įrašus norma procentais nuo bendros įrašų skaičius. Arba matuoti produkto kodai sumą, kurios atitinka iki kelių styginių modelių rinkinys.
• Tikslinis querying - bet DataStore:
• Su DataCleaner 3.1 dabar galite atlikti ad hoc užklausas bet DataStore! Užklausos gali būti aiškia SQL ir bus taikomos duomenų bazių, taip pat failus, NoSQL duomenų bazių ir daugiau, teikiant tikrai naudinga užklausų mechanizmą išplėsti į savo atradimą ir duomenų profiliavimo patirtimi.
• Užklausa galimybė taip pat prieinama per interneto paslauga stebėjimo vartotojams administratoriaus vaidmenį. Užklausa yra numatyta kaip HTTP parametro "pranešimuose arba paskelbkite kūno, ir rezultatas yra numatyta kaip XHTML stalo.
• Vertė Matcher - nauja analizė variantas:
• Dažnai jūs turite tvirtą idėją, kurią turėtų būti leidžiama ir yra numatoma tam tikros srities vertybes. Be DataCleaner ten visada buvo Vertė pasiskirstymas analizė variantas, kuris padės jums apginti savo prielaidas. Be DataCleaner 3.1, nors, jūs turite tikslesnį auką - vertė Matcher. Ši analizė parinktis leidžia nurodyti numatomų verčių rinkinį ir tada atlikti vertės pasiskirstymą kaip analizės, ypač patikrinti ir nustatyti netikėtų vertybes.
• Kopijavimas, išbraukiant ir valdymas darbo:
• Valdymo ir darbo vietų kūrimo rezultatų DataCleaner monitoriaus taikymo buvo gerokai patobulinta. Dabar jūs galite spustelėti darbą į planavimo puslapyje monitoriaus, ir rasti valdymo variantų operacijas, tokias kaip pervadinti, kopijavimo, naikinimo ir daugiau. Kiekviena operacija gerbia teisę į kitų artefaktų monitoriuje, kaip antai analizės rezultatus, tvarkaraščius ir daugiau sąsajas. Tai reiškia, kad valdymas monitoringo saugykloje tapo daug lengviau ir brandus.
• Tvarkyti duomenų kokybės istoriją: "
• Kartais jūs susiduria su situacijomis, kai jūs iš tikrųjų norite daryti monitoringą istorinių duomenų! Tai gali būti, kad jūs turite istorinių sąvartynus arba atsargines kopijas duomenų bazių, kurį nori parodyti ir papasakoti istoriją. Dabar jūs galite padaryti, kad šią istorinę duomenų analizė, įkelkite jį į DataCleaner monitoriaus ir naudojant naują interneto paslaugą, nustatyti istorinis duomenis, kad ypač analizės rezultato. Tai reiškia, kad jūsų terminai bus tinkamai sklypas rezultatus naudojant juos pagal paskirtį datos, bet su rezultatais, kad jūs surinktų gal vėliau momentu.
• Clustered planavimo parama (tik EE):
• DataCleaner monitoriaus planavimo buvo externalized, taip, kad ji gali būti pakeista, paprasto konfigūracijos priemonėmis. Į Enterprise Edition (EE) ir DataCleaner, mes teikiame klasterio planavimo, numatant galimybę įkelti pusiausvyrą ir platinti savo egzekucijas visoje mašinų klasterius.
• Vieno signon (LAP), naudojant CAS (EE tik):
• Enterprise Edition (EE) ir DataCleaner dabar mes teikiame vieno signon parinktį monitoriaus taikymo. Dabar DataCleaner gali būti integruota dalis jūsų IT infrastruktūrą, taip pat saugumo išmintingas.
• ... Ir daug daugiau: "
• Aukščiau yra tik santrauka. Daugiau nei trisdešimt klausimai buvo sprendžiami šioje laidoje. Mes išspręsta kelis prašymus iš tos forumuose ir Bendrijos, ir mes kviečiame visus naudoti šią laikmeną kaip pokyčių transporto priemonės. Mes labai laimingi, kad iš DataCleaner vystymasis būti stipriai įtakoja Bendrijoje srautus.

Kas naujo versijos 3.0.3:

• Prideda paslauga pervadinti darbo vietų monitoringo saugyklos .
• Galite prieiti tai kaip ramus Web paslaugą arba interaktyviai UI.
• Web paslaugos buvo įtraukta keisti istorinę datą analizės rezultatas stebėsenos duomenų saugykloje.
• Web paraiška buvo suderintas su palikimas JSF konteineriuose.
• buferinės konfigūracijos į žiniatinklio programoje buvo gerokai patobulinta, todėl greičiau puslapio apkrovos ir darbo iniciacijos metu.

Kas naujo versijos 3.0.2:

• Kai suaktyvina stebėsenos interneto paraišką darbą, skydelis automatinis atgaivina kas antras gauti naujausią būklę vykdymo.
• Failų pagrįstas duomenų saugyklomis (pvz CSV arba Excel) su absoliučiais takais dabar teisingai išspręstas stebėsena interneto programas.
• & quot; Pasirinkite iš / Raktas vertės žemėlapyje & quot; transformatorius dabar palaiko įdėtos pasirinkite išraiškas kaip & quot; Address.Street & quot; arba & quot; eilutėmis [0] .product.name & quot;.
• stalo peržvalgos mechanizmas buvo optimizuoti našumą, naudojant paruoštus pareiškimus, kai veikia prieš JDBC duomenų bazėse.
• Administratoriai dabar galite atsisiųsti failų pagrįstas duomenų saugyklomis tiesiai iš & quot; duomenų saugyklomis & quot; puslapis.
• Išimties tvarkymas stebėsenos interneto paraišką buvo patobulinta truputį, todėl klaidų pranešimai tikslesnis ir intuityvi.