S3QL

S3QL palaiko Amazon S3, taip pat savavališkai SFTP serverių ir efektyviai suteikia jums kietajame diske dinamiška, begalinės talpos, kuria galima naudotis iš bet kurio kompiuterio su interneto prieiga.
S3QL teikia standartinį, pilnavertį UNIX failų sistema, kuri yra konceptualiai nesiskiria nuo bet kurios vietos failų sistema. Be to, S3QL turi papildomų funkcijų, pavyzdžiui, suspaudimo, šifravimo, duomenų de-dubliavimo, nekintamus medžių ir snapshotting dėl kurių jis ypač tinka internete atsarginę kopiją ir archyvų.
S3QL yra skirta teikti pirmenybę paprastumas ir elegancija per veiklos ir funkcija valkšnumo. Priežiūra buvo imtasi, kad išeitinis kodas, kaip skaitoma ir naudingas, kaip įmanoma. Kietosios klaidų aptikimo ir klaidų tvarkymas buvo įtrauktas nuo pat pirmos eilutės ir S3QL ateina su daug automatizuotų bandymo atvejais visų jo sudedamųjų dalių.
Prieš failų sistema gali būti montuojama, vidinis, kurie bus surengti duomenis turi būti inicializuoti. Tai daroma su mkfs.s3ql komandą. Čia mes naudojame "Amazon S3 varikliukus ir nikratio-s3ql-kibiras S3 kibiras, kuriame bus saugomi failų sistema.
mkfs.s3ql S3: // nikratio-s3ql-kibiras
Norėdami pritvirtinti S3QL failų sistemą saugomi S3 kaušo nikratio_s3ql_bucket kataloge / mnt / s3ql, įveskite:
mount.s3ql S3: // nikratio-s3ql-kibiras / mnt / s3ql
Dabar galite nurodyti savo mėgstamą atsarginės programa paleisti atsargines kopijas į katalogą / mnt / s3ql ir duomenys bus saugomi "Amazon S3. Kai baigsite, failų sistema turi būti Atjungę su
umount.s3ql / mnt / s3ql

Įranga :

• skaidrumas. Teoriškai S3QL yra neatskiriamas nuo vietinio failų sistema. Pavyzdžiui, ji palaiko hardlinks, simbolines nuorodas, pilnas unix leidimus, išplėstinių atributų ir failo dydis iki 2 TB.
• Dinaminis dydis. Kurio S3QL failų sistemos dydžio auga ir sutraukia dinamiškai, kaip reikalaujama.
• Suspaudimas. Prieš saugojimo, visi duomenys gali suspaustas su LZMA, BZIP2 ar LZ algoritmas.
• Šifravimas. Po suspaudimo (bet prieš įkeliant), visi duomenys gali AES šifruojami 256 bitų ilgio raktu. Papildomas SHA256 hmac kontrolinė yra naudojami siekiant apsaugoti duomenis nuo manipuliavimo.
• Duomenys de-dubliavimo. Jei keli failai yra vienodi turinį, nereikalingas duomenys bus saugomi tik vieną kartą. Tai veikia visose saugomų failų failų sistemą, o taip pat, jei tik kai kuriuos failus dalys yra identiškos, o kitos dalys skiriasi.
• nekintamas Medžiai. Katalogas medžiai gali būti nekintamas, kad jų turinys negali būti pakeistas bet kokiu būdu ir bet kokio. Tai gali būti naudojama, siekiant užtikrinti, kad kopijavimas negali būti pakeistas po to, kai jie buvo pagaminti.
• Kopijuoti-su-įrašymo / Snapshotting. S3QL gali atkartoti visą katalogų medžius be jokių papildomų saugojimo vietos. Tik jei viena iš kopijų yra pakeistas, kad duomenų, kad buvo pakeistas užims papildomą atminties dalis. Tai gali būti naudojama siekiant sukurti pažangius vaizdus, ​​kad išsaugoti darbo skirtingose ​​vietose kataloge būklę laiku, naudojant minimalų kiekį vietos.
• Didelio našumo nepriklauso nuo tinklo latency. Visos operacijos, kad nerašyti arba skaityti failo turinį (pavyzdžiui, sukurti katalogus ar perkelti, pervadinti ir keičiant leidimus failus ir katalogus), yra labai greitai, nes jie atliekami be jokių tinklo operacijų.
• S3QL pasiekia taupant visą failą ir katalogą struktūrą duomenų bazėje. Ši duomenų bazė yra vietos talpyklos ir nuotolinio kopija atnaujinama asinchroniškai.
• Parama mažas spartos ryšiu. S3QL skyla failų turinį į mažesnius blokus ir talpyklos blokų vietoje. Tai sumažina tiek tinklo operacijų, reikalingų skaitymo ir rašymo duomenų skaičių, ir duomenų kiekį, kuris turi būti perduotas, kai tik dalis failo skaityti arba raštu.

Kas naujo , šioje laidoje:

• Mėginimai atnaujinti failų sistema, kuri jau tuo Naujausias peržiūros nebėra teikti vietos metaduomenų kopijuoti nenaudotinas.
• "Google" saugykla kibiras pavadinimai, kuriuose yra taškų nebėra sukelti problemų su SSL sertifikato patvirtinimo.
• Išspręsti avariją, kai statvfs () yra vadinamas nuo beveik tuščią failų sistema.
• Yra naujų & quot; swiftks & quot; posistemės už OpenStack / Swift serverių.
• Pašalina lenktynių sąlygą, kad galėtų lemti mount.s3ql kritimo su & quot; KeyError kolekcijos / abc.py & quot;.
• Išspręsti avariją, kurios gali atsirasti, kai bando išvalyti gavusi ryšio arba serverio klaida įkeliant objektą.

Kas naujo 2.2 versija:

• S3QL dabar naudoja SSL pagal nutylėjimą ir patikrina serverio sertifikatus.
• rasės sąlyga, kad atsirado tariamasis praradimo nuotolinio metaduomenų buvo fiksuotas.
• S3 posistemės dabar ištrina kelis sandėliavimo objektų, naudojant vieną prašymą, jei įmanoma, sumažinti vėlavimą, eismas, ir daugiau prašymų S3.
• S3QL dabar gali aptikti serverio klaidas ir peradresavimus prieš visus duomenis buvo siunčiami į serverį.
• Naujasis "Rackspace" posistemės, kuri leidžia specifikacija objekto saugojimo regiono saugojimo URL buvo pridėta.
• mount.s3ql --compress variantas dabar leidžia specifikacija suspaudimo lygį.

Kas naujo versija 1,15:

• Dviračių metaduomenų kopijavimas naudojant vietinį varikliukus dabar užima daug mažiau laiko.
• Tai yra nebereikalingas, kad S3QL ir Python apsw būti susijęs su tais pačiais SQLite bendros bibliotekoje.
• Be mount.s3ql, avarijos, kai buvo nustatyta naudojant metadata įkelti intervalo 0.
• Vietoj visiškai atraminio failų sistemą (ir paliekant prijungimo tašką neprieinama), kai vidinis duomenų trūksta arba sugadintas, S3QL dabar grąžina klaidą ir jungikliai tik skaityti veikimą.

Kas naujo versija 1.13:

• Ši versija išsprendžia klaida, dėl sugadinta metaduomenys turi būti parašyta , kai naudojant naujausius eglibc versijas.
• Tai išsprendžia problemas, kai bandote prieiti katalogą ties failų sistemą, kad neseniai buvo pašalintas s3qlrm šaknis.
• tariami ACL palaikymas buvo ištrintas.
• Ši laida geriau rankenos kibirai su negaliojančiais DNS vardų.
• Tai bandykite dar kartą, jei DNS nėra.

Kas naujo versija 1.11.1:

• Ši versija išsprendžia avariją naudojant S3 varikliukus (regresijos įvesta išleidimo 1.11), didina minimalią pranešė failų sistemos dydžio 1 TB, ir veikia aplink df klaidą, kad dydis yra tinkamai pranešta.

Kas naujo versija 1.11:

• Meta duomenys apie saugomus objektus dabar padalyta į kelis laukus, kad no laukas yra ilgesnis negu 256 baitų. (Tai daro S3QL suderinama su įvairesniais saugojimo paslaugų teikėjams.) SWIFT posistemės dabar bando prisijungti, jei ji gauna 5xx klaidų kodus iš nuotolinio serverio, o ne nepavyksta bandant įkelti duomenis pasibaigęs autorizacijos ženklas.

Kas naujo 1.10 versija:

• s3s, s3cs ir GSS backends buvo ištrintas. Naudokite naują --ssl galimybe kartu su s3, s3c ir GS backends vietoj.
• S3QL nebėra stebi nuoseklumo garantijos skirtingų backends.
• Daugėja skirtingų saugojimo teikėjų siūlo skirtingus regionus, atleidimo iš darbo ir prieinamumo lygį daro šį nebeįmanoma.
• Naudotojo vadovas yra nauja skyrių, & quot; svarbiausių taisyklių, kad išvengti duomenų praradimo & quot;.
• tai skaitymas yra labai rekomenduojama.

Kas naujo versijoje 1.9:

• Ši versija leidžia failų datos nebėra pakeisti, kai keičiant sistemą laiko juosta, pataisymai ir pagerina contrib / benchmark.p, nustatomos & quot; Per daug grandinines peradresavimus & quot; klaidą, bando prisijungti nuo 5xx serverio klaidos, ir prideda eksperimentinės gimtoji paramą OpenStack / SWIFT serverių ir eksperimentinės proxy paramą.

Kas naujo 1.8 variantas:

• & quot; ValueError: Nepavyko sąvartynas neapibrėžtų reikšmių & quot; katastrofos, kai failų sistema metaduomenys buvo įkeltas per fiksuotas sunkiųjų failų sistema veikla.
• s3qlcp ir katalogo sąrašą našumą labai didelių katalogų buvo patobulinta.
• rm veiklos regresijos buvo fiksuotas.
• -. Blokai nustatytu buvo pervadinta į --max-V-dydis
• buvo nustatytos Kai sugenda, kad atsitiko pagal labai kartu failų sistemos naudojimą.
• python-llfuse 0,37 dabar naudojamas.

Apribojimai :

• Yra dar daug klaidų kodą ir jūs turite būti pasirengę susidoroti su juos. Nepaisant to, jūs galite būti pagrįstai įsitikinę, kad klaidų (nors nepatogu) nepakenks savo saugomus duomenis.