Dideli duomenys yra rinkodaros terminas, apimantis visą idėją apie duomenų gavybą iš šaltinių, tokių kaip paieškos varikliai, bakalėjos parduotuvių pirkimo būdai, stebimi naudojant taškų korteles ir tt Šiuolaikiniame pasaulyje internetas turi tiek daug duomenų šaltiniai, kad dažniau negu skalė padaro jį netinkamu be apdorojimo ir apdorojimo, bet kuris vienas serveris ims netikėtai ilgą laiką. Įveskite Apache Hadoop
Mažiau duomenų apdorojimo laikoNaudojant "Hadoop" architektūrą, siekiant paskirstyti apdorojimo užduotis keliose mašinose tinkle , apdorojimo laikai astronomiškai sumažėja, o atsakymus galima nustatyti per protingą laiką. "Apache Hadoop" yra padalintas į du skirtingus komponentus: saugojimo komponentą ir apdorojimo komponentą. Paprasčiausiai Hapood sukuria vieną virtualų serverį iš kelių fizinių mašinų . Iš tiesų "Hadoop" valdo ryšį tarp kelių mašinų, kad jie dirba kartu pakankamai arti, kad atrodo, jog skaičiavimuose veikia tik viena mašina. Duomenys platinami keliose mašinose , kuriuos reikia saugoti ir apdorojimo užduotys yra paskirstytos ir suderintos Hadoop architektūra
. Šio tipo sistema yra reikalavimas paversti neapdorotus duomenis į naudingos informacijos apie "Big Data" įvesties skalę. Apsvarstykite, kiek duomenų, kuriuos "Google" gauna kas sekundę iš vartotojų, kurie įveda paieškos užklausas. Kaip bendrą duomenų vienetą, jūs nežinote, kur pradėti, tačiau "Hadoop" automatiškai sumažins duomenų rinkinį į mažesnes, organizuotas duomenų pogrupius ir priskirsite šias valdomas pogrupius tam tikriems ištekliams. Tada visi rezultatai pateikiami atgal ir surenkami į naudingą informaciją .
Serveris lengva nustatyti
Nors sistema skamba sudėtinga, dauguma judančių dalių yra užmirštos už abstrakcijos. Hadoop serverio nustatymas yra gana paprastas , tiesiog įdiekite serverio komponentus įrangos, atitinkančios sistemos reikalavimus. Sunkesnė dalis planuoja kompiuterių tinklą , kad serveris Hadoop naudos, norėdami paskirstyti saugojimo ir apdorojimo funkcijas. Tai gali būti vietinio tinklo nustatymas arba kelių tinklų sujungimas visame internete . Taip pat galite naudoti esamas debesies paslaugas ir mokėti už "Hadoop" klasterį populiariose debesų platformose, tokiose kaip "Microsoft Azure" ir "Amazon EC2". Tai dar lengviau sukonfigūruoti, nes galite suktis juos ad hoc ir tada panaikinti grupes, kai jų daugiau nereikia. Šie klasterių tipai yra idealūs testavimui, nes mokate tik tuo metu, kai veikia "Hadoop" klasteris.
Duomenų apdorojimas norint gauti reikiamą informaciją
Dideli duomenys yra labai galingas šaltinis, tačiau duomenys yra nenaudingi, jei jie negali būti tinkamai suskirstyti į kategorijas ir paversti informacija. Šiuo metu "Hadoop" klasteriai siūlo labai ekonomiškai efektyvų metodą , norint apdoroti šias duomenų rinkinius į informaciją.
Komentarai nerastas