MooseFS

MooseFS yra kaltė tolerantiškas, tinklo paskirstytosios rinkmenų sistema, kuri plinta duomenis per keletą fizinių serverių, kurie yra matomas vartotojui, kaip vienas šaltinis & nbsp; Standartinių failų operacijų MooseFS veikia kaip kitų Unix, tiek failų sistemas.:
& Nbsp; * hierarchinė struktūra (katalogo medis)
& Nbsp; * Parduotuvės POSIX failo atributus (leidimai, paskutinis prieigos ir modifikavimo datos)
& Nbsp; * Palaiko specialius failus (blokas ir charakterio įrenginiai, vamzdžiai ir kištukiniai lizdai)
& Nbsp; * Simbolinės nuorodos (failų pavadinimai nukreipta nukreipti failus, nebūtinai MooseFS) ir kietosios nuorodos (skirtingais pavadinimais failų, kurie nukreipia į anksčiau minėtus duomenis MooseFS)
& Nbsp; * Prieiga prie failų sistemos gali būti ribojamas remiantis IP adresą ir / arba slaptažodis
Skiriamieji bruožai MooseFS yra:
& Nbsp; * Didelis patikimumas (kelios kopijos duomenys gali būti saugomi visoje atskiruose kompiuteriuose)
& Nbsp; * Talpa dinamiškai plečiama pridedant naujų Kompiuteriai / diskai
& Nbsp; * Ištrintos failai saugomi konfigūruojama laiką (failų sistema lygis "šiukšliadėžė")
& Nbsp; * Suderinta vaizdus failų, net kai failas yra parašyta / atvertas
MooseFS susideda iš keturių komponentų:
& Nbsp; * Valdymo serveris (pagrindinis serveris) & ndash; vieną mašiną valdyti visą failų sistemą žyme, saugoti metaduomenis kiekvieną failą (informacija apie dydį, požymiai ir failo vietą (-as), įskaitant visą informaciją apie ne reguliariais failus, ty katalogų, kištukiniai lizdai, vamzdžių ir įrenginių).
& Nbsp; * Duomenų serveriai (riekė serveriai) - bet prekių serverių laikyti failus duomenis ir sinchronizuoti ją tarpusavyje (jei tam tikras failas turėtų egzistuoti daugiau nei vieną kopiją), skaičius.
& Nbsp; * Meta atsarginį serverį (-ai) (metalogger serveris) - bet serverių skaičius, kurie visi parduotuvė metaduomenų changelogs ir periodiškai atsisiųsti pagrindinę metaduomenų failą; taip pat skatinti šiuos serverius į į generalinį serverio vaidmenį, kai pagrindinis meistras nustoja veikti.
& Nbsp; * Klientų kompiuteriai, prieiga (mount) nurodo MooseFS failai - bet Mašinų, naudojančių mfsmount procesą bendrauti su valdymo serverio numeris (gauti ir keisti failo metaduomenis) ir chunkservers (siekiant keistis faktinės bylos duomenis).
mfsmount remiasi FUSE mechanizmo (failų sistemos userspace), todėl MooseFS yra prieinama kiekvienam operacinės sistemos, kurių darbinė FUSE įgyvendinimo (Linux, FreeBSD, MacOS X ir tt)
Meta duomenys yra saugomi vadovaujančios serverio atmintį ir tuo pačiu metu įrašyti į diską (kaip periodiškai atnaujinama dvejetainis failas ir nedelsiant atnaujinti papildomas žurnalus). Pagrindinis dvejetainio failo, taip pat logs yra sinchronizuoti su metaloggers (jeigu yra).
Failo duomenys yra padalintas į fragmentus (gabaliukus) su daugiausiai 64MiB kiekvienam. Kiekvienas gabalas yra pati pasirinktomis diskų dėl duomenų serverių (chunkservers) failą.
Didelis patikimumas pasiekiamas konfigūruoti kaip daug skirtingų duomenų serverius reikia suprasti "vartus" vertę (kopijų skaičių, kaip išlaikyti) nustatytų konkrečioje byloje.
, kaip veikia sistema
Visi failų operacijas kliento kompiuteryje, kuriame sumontuoti MooseFS yra lygiai toks pat, kaip jie būtų kartu su kitais failų sistemas. Operacinės sistemos branduolys perduoda visas failų operacijas saugiklių modulis, kuris palaiko ryšį su mfsmount procesą. Mfsmount procesas bendrauja per Vėliau tinklo valdymo serverio ir duomenų serverių (riekė serverių). Visas šis procesas yra visiškai skaidri, kad vartotojas.
mfsmount bendrauja su valdymo serverio kaskart failo metaduomenų operacija reikalinga:
& Nbsp; * kurti failus
& Nbsp; * pašalinti failus
& Nbsp; * skaitymo katalogai
& Nbsp; * skaitymo ir besikeičiantys atributai
& Nbsp; * keičia failo dydis
& Nbsp; * ties skaitymo ar rašymo duomenis pradžios
& Nbsp; * bet prieigą prie specialių bylų dėl MFSMETA
mfsmount naudoja tiesioginį ryšį su duomenų serverio (riekė serverio), kad saugo atitinkamą riekė failą. Rašydami failą, po apdailos rašymo procesą valdyti serveris gauna informaciją iš mfsmount atnaujinti failo ilgį ir paskutinės modifikacijos laiką.
Be to, duomenų serveriai (riekė serveriai) bendrauti tarpusavyje atkartoti duomenis, kad būtų užtikrintas tinkamas kopijų skaičių dėl įvairių mašinų failą.
& Nbsp;
Fault Tolerance "
& Nbsp;
Administracinės komandos leidžia sistemos administratorius nurodyti "tikslą", arba kopijų skaičių, kuris turėtų būti prižiūrimi, ant vienam katalogą ar už-failą lygiu. Nustatymas tikslą daugiau nei vienas, ir turintys daugiau nei vienas duomenų serverį teiks gedimui atsparūs. Kai failas duomenys yra saugomi daugelio kopijų (daugiau nei vienu duomenų serverio), sistema yra atspari gedimams arba laikinų tinklo pertrūkimų vieno duomenų serverio.
Tai, žinoma, nėra nuorodos į failus su "tikslo" nustatytas į 1, tokiu atveju failas bus egzistuoti tik ant vieno duomenų serverio, nepriklausomai nuo to, kiek duomenų serveriai yra įdiegta į sistemą.
Išimtiniais svarbius failus gali turėti jų tikslas nustatyti skaičių didesnės negu dvejų, kuris leis šie failai bus atsparios daugiau nei vienam serveriui gedimo vienu metu.
Apskritai už kopijas turimų skaičių nustatymas turėtų būti daugiau nei vienas numatomo skaičių nepasiekiamų ar out-of-tam serverių.
Tuo atveju, kai vieną duomenų serveris patiria nesėkmę arba atjungimą nuo tinklo, failai saugomi joje, kad turėjo bent dvi kopijas, liks prieinama iš kito duomenų serverio. Duomenų, kad dabar "pagal savo tikslo" bus pakartotas nuo kito pasiekiamo duomenų serverio vėl teikti reikiamą kopijų skaičių.
Reikia pažymėti, kad, jei turimų serverių skaičius yra mažesnis nei "tikslo" nustatytą pagal failą, negali būti konservuoti reikalaujama kopijų skaičius. Panašiai, jei yra tas pats skaičius serverių kaip šiuo metu nustatyta tikslo ir jei duomenų serveris pasiekė 100% savo pajėgumų, jis negalės pradėti surengti failo, kad dabar yra mažesnė už jo tikslas ribos, nes kitą kopiją duomenų serveris vyksta neprisijungęs. Tokiais atvejais naujas duomenų serveris turi būti prijungtas prie sistemos kuo greičiau, siekiant išlaikyti norimą kopijų skaičių failą.
Naujasis duomenų serverio gali būti prijungtas prie sistemos, bet kuriuo metu. Nauji pajėgumai iš karto tampa prieinami naudoti saugoti naujus failus, arba turėti pakartotas failų kopijas iš kitų duomenų serveriuose.
Administravimo priemonės egzistuoja užklausą, neviršijant failų sistemos failų būseną nustatyti, ar bet kuri iš bylos šiuo metu toliau savo tikslo (rinkinys kopijų skaičius). Šis įrankis taip pat gali būti naudojamas pakeisti į vartus nustatymą, kaip reikalaujama.
Duomenų fragmentai saugomi į gabaliukus yra versijavimą, todėl iš naujo prijungti duomenų serverį su vyresniais kopiją duomenų (pavyzdžiui, jei ji buvo atjungta tam tikrą laiką), nesukels failus tapti nenuosekli. Duomenų serveris bus sinchronizuoti save laikyti dabartinius versijas gabaliukus, kur pasenę gabaliukus bus nuimti ir laisvos vietos bus perskirstyti surengti naujus gabaliukus.
Gedimai kliento mašina (kuri veikia mfsmount procesą) neturės dėl failų sistemos darnos arba dėl kitų kliento operacijų įtaką. Blogiausiu atveju duomenų, kad dar nebuvo išsiųstas iš nepavykusio kliento kompiuteryje gali būti prarasta.
& Nbsp;
PLATFORMOS
& Nbsp; MooseFS yra prieinama kiekvienam operacinės sistemos, kurių darbinė FUSE įgyvendinimo:
& Nbsp; * Linux (Linux 2.6.14 ir iki turėti SAUGIKLIS parama įtraukti į oficialius branduolio)
& Nbsp; * FreeBSD
& Nbsp; * Atvirosios
& Nbsp; * MacOS X
Pagrindinis serveris, metalogger serverio ir chunkservers taip pat gali būti paleisti Solaris "arba" Windows su Cygwin. Deja, be saugiklis tai bus neįmanoma prijungti per šių operacinių sistemų rinkmenų

Kas naujo , šioje laidoje:.

< li> Svarbiausi pakeitimai yra fiksuotas signalą tvarkymo daugiagijėse modulių, tikslas ir trashtime apribojimų mfsexport.cfg ir paprastą patikrinimą parsisiųstų metaduomenų failus.

Kas naujo versijos 1.6.19:

• Esminiai pakeitimai buvo įtraukti į metalogger mašinos ir metarestore priemonė geriau vientisumą metaduomenų.
• skenavimo juosta CS buvo pridėta.
• meistras vardas dabar išspręsta, kai ryšio užmegzti nepavyksta.
• Naujas sesijos yra sukuriamas, kai prarandama ankstesnę.
• buvo daug kitų klaidų ir patobulinimų.

Kas naujo versijos 1.6.17:

• Šiame leidime įdiegėme automatinio duomenų talpyklos valdymo .
• Pakanka atnaujinti tik pagrindinį serverį (jokių riekė serverių pokyčius "arba klientų kodą buvo padaryta).
• branduolio talpyklos mechanizmas visada egzistavo, tačiau iki šiol talpyklos visada buvo išvalytas atidarius failą. Dabar MooseFS kontroliuoja, ar ją ar ne išvalyti tikrinant, ar failas buvo modifikuoti arba nemodifikuoti kito kliento. Leiskite pažvelgti į kai kuriuos scenarijus.
• Pirmas scenarijus: "
• 1. Kompiuterių skaito failo X
• 2. Kompiuterių B skaito failo X
• 3. Kompiuterių nori perskaityti failo X - mes palikti talpyklą (failas nebuvo pakeistas)
• Antra scenarijus: "
• 1. Kompiuterių skaito failo X
• 2. Kompiuterių rašo failo X
• 3. Kompiuterių nori tor perskaityti failo X - mes palikti talpyklą (failas buvo pakeistas, bet kompiuteris žino apie šiuos pakeitimus)
• Trečiasis scenarijus: "
• 1. Kompiuterių skaito failo X
• 2. Kompiuterių B rašo į failą X
• 3. Kompiuterių nori perskaityti failo X - čia mes turime priversti ištuštinti talpyklą (nes pokyčiai buvo padaryta Kompiuterių B ir informatikos A nežino apie juos)
• realioje aplinkoje pirmas ir antras scenarijus įvyktų iki šiol dažniau nei trečiąjį scenarijų ir tai, kodėl ji yra pagrįsta, palikti talpyklos turinį ir įgyti bendrą sistemos efektyvumą.
• Žinoma yra keletas vidutinis scenarijus (bet jie taip pat egzistavo anksčiau) kaip šis:
• 1. Kompiuterių atidaro failo X ir perskaito jį visiškai (byla lieka atmintyje)
• 2. Kompiuterių B keičia failo X
• 3. Kompiuterių vėl skaito failo X (bet be uždarymo arba atnaujinti ją - tiesiog juda į 0 padėtį ir rereading ją)
• Šioje situacijoje Kompiuterių gaus tuos pačius duomenis kaip ir 1 etape, bet pats taip atsitiko MooseFS anksčiau.
• atributas nodatacache taip pat buvo įvesta kuris draudžia talpyklos failą. Nuo versijos 1.6.17 iki failus su nodatacache atributas elgtis kaip failai padarė senesnių versijų MooseFS. Ši vėliava gali būti naudojamas su įrankiai mfsseteattr, mfsdeleattr ir mfsgeteattr.
• Ši vėliava buvo įtraukta prevencinė ir tikriausiai jums nereikia naudoti jį. Jei po tam tikro laiko, atrodo, kad tai yra tikrai nenaudingas jis bus ištrintas. Bet jei jums rasti bet kokį korpuso / scenarijų, reikalau išjungti automatinį talpyklos mechanizmas prašome pasidalinti ja su mumis.