Beaver

Bebras yra Python demonas, kad munches ant rąstų ir siunčia savo turinį logstash.
Diegimas
Naudojant PIP:
Nuo GitHub:
PIP įdiegti git + git: //github.com/josegonzalez/beaver.git#egg=beaver
Nuo PyPI:
PIP įdiegti bebrų == 1
Naudojimas
naudojimas:
bebrų [-h] [-r {darbuotojas, interaktyvus}] [-m {įpareigoti, prijunkite}] [-p kelias]
& Nbsp; [- f BYLŲ [failus ...]] [-t TRANSPORTAS]
neprivaloma argumentai:
-h, help parodyti šią pagalbos pranešimą ir išeiti
-r {darbuotojas, interaktyvus}, {--run darbuotojas, interaktyvus}
& Nbsp; paleisti darbuotojas ar interaktyviu režimu
-m {įpareigoti, prijunkite}, {--mode įpareigoti, prijunkite}
& Nbsp; įpareigoti arba prijunkite režimą
-p kelias, --path PATH kelią į failus
-F BYLŲ [failus ...], --files failus [failus ...]
& Nbsp; erdvės atskirtos Filelist žiūrėti. Peržiūrėjimai --path
& Nbsp; argumentas
-t {amqp, REDIS, stdout}, {--transport amqp, REDIS, stdout}
& Nbsp; prisijunkite transporto metodą
Fonas
Bebras suteikia lengvą būdą siuntimui vietos failus į Logstash. Jis tai daro naudojant vieną REDIS, STDIN zeromq kaip transporto. Tai reiškia, kad jums reikia REDIS, STDIN zeromq įvesties kažkur žemyn kelio gauti renginius.
Renginiai siunčiami logstash anketa json_event formatu. Nustatymai pat gali būti nustatyti kaip aplinkos kintamieji.
Pavyzdžiai
1 pavyzdys: Klausyti visų numatytąją takeliai / var failus / prisijungti standartas iš:
bebras
2 pavyzdys: Siuntimas žurnalus iš / var / log failus į REDIS sąrašą:
REDIS_URL = "REDIS: // localhost: 6379/0" bebrų -T REDIS
3 pavyzdys: Naudokite aplinkos kintamieji siųsti žurnalus iš / var / log failus į REDIS sąrašą:
REDIS_URL = "REDIS: // localhost: 6379/0" BEAVER_PATH = "/ var / log" BEAVER_TRANSPORT = REDIS bebrų
4 pavyzdys: Zeromq klausytis uosto 5556 (visi sąsajos):
ZEROMQ_ADDRESS = "TCP: // *: 5556" Bebrų -m įpareigoti
# Logstash konfigūracijos:
įvesties {{zeromq
& Nbsp; type => 'siuntėjas įvesties "
& Nbsp; režimas => "klientas"
& Nbsp; topologija => 'pushpull "
& Nbsp; adresas => 'tcp: // shipperhost: 5556 "
& Nbsp;}}
išvesties {{stdout debug => tiesa}}
5 pavyzdys: Zeromq jungiantis prie nuotolinio uosto 5556 dėl indeksavimo:
ZEROMQ_ADDRESS = "TCP: // indeksuotojas: 5556" bebrų -m prisijungti
# Logstash konfigūracijos:
įvesties {{zeromq
& Nbsp; type => 'siuntėjas įvesties "
& Nbsp; režimas => 'serveris "
& Nbsp; topologija => 'pushpull "
& Nbsp; adresas => 'tcp: // *: 5556 "
& Nbsp;}}
išvesties {{stdout debug => tiesa}}

Kas naujo , šioje laidoje:

• Užtikrinti naujus failus papildomas veža konfigūraciją. Uždaro # 96. Uždaro # 101. [Chosė Diaz-Gonzalez]
• Leisti flotacinio numerius update_file_mapping_time. [Chosė Diaz-Gonzalez]
• Nustatyti netinkamą liejimas Būlio vertybes. [Chosė Diaz-Gonzalez]
• Atlikti visus perskaičiavimus pagal config.py. Uždaro # 99. [Chosė Diaz-Gonzalez]

Kas naujo version 16:

• Nurodykite max eilės dydis 100 apriboti viršijimą atmintį. [Chosė Diaz-Gonzalez]
• Naudoti multiprocesorių tvarkymo didesnius eilėje dydžių. [Chosė Diaz- Gonzalez]
• Anksčiau ten buvo klausimai, kur failai, kurie buvo dažnai atnaujinami, pavyzdžiui, lakuoti, arba serverio žurnaluose būtų sukrėsti naivus įgyvendinimą file.readlines () per Beaver. Tai gali sukelti Bebras lėtai skaityti daugiau ir daugiau porcijas failą prieš apdorojant bet eilučių, galiausiai sukelia Bebras imtis amžinai apdoroti žurnalo linijas.
• Ši pataisa prideda galimybę naudotis vidaus darbo eilėje žurnalo eilutes. Kai file.readlines () yra vadinamas, linijos dedami į eilę, kuri yra bendra su vaikų procesą. Vaikas procesas sukuria savo transportu, todėl mums gali sukurti procesą baseinas ateityje apdoroti didesnį eilės dydį.
• Atkreipkite dėmesį, kad file.readlines () skaitymo per daug linijų apribojimas vis dar egzistuoja, ir toliau gali sukelti problemas tam tikrų failų.
• Pridėti numatytąją redis_password į BeaverConfig klasėje. [Chosė Diaz-Gonzalez]
• Nustatyti trūksta pabraukimas sukelia transporto pertrauka. [Normanas Joyner]
• Įgyvendinti REDIS auth paramą. [Normanas Joyner]
• Pridėti bebrų paleidimo scenarijų daemonization režimu. [Chosė Diaz-Gonzalez]
• Naudoti python kaupiklis naudojant StdoutTransport. [Chosė Diaz-Gonzalez]
• Pridėti trumpus arg vėliavą hostname ir formatu. [Chosė Diaz-Gonzalez]
• Pridėti gebėjimą daemonize. Uždaro # 79. [Chosė Diaz-Gonzalez]
• Pass aplink logger Pavyzdžiui visiems pervežimus. [Chosė Diaz-Gonzalez]
• Grąžinti & quot; patalpintas lengvas Renginių klasės & quot; [Chosė Diaz-Gonzalez]
• Po svarstymo, bebrų yra skirtas būti & quot; lengvas & quot ;. Leidžia palikti sunkiųjų pataikyti į didelių berniukų.
• Ši grįžta įsipareigoti 1619d33ef4803c3fe910cf4ff197d0dd0039d2eb.
• Pridėta lengvas Įvykio klasę. [Chosė Diaz-Gonzalez]
• vienintelis šios klasės atsakomybė bus tam tikroje geležinkelio linijoje, kaip įvykio apdorojimo. Tai ateities tikslas bus veikti kaip lengvo įgyvendinimo filtravimo sistema per Logstash
• Pašalinti argparse reikalavimą python 2.7 ir aukščiau. [Chosė Diaz- Gonzalez]

Kas naujo 13 versija:

• Fiksuoti tam tikros aplinkos kintamieji. [Chosė Diaz-Gonzalez]
• SSH tunelis palaikymas. [Chosė Diaz-Gonzalez]
• Šis kodas turėtų leisti mums sukurti SSH tunelį tarp dviejų skirtingų serverių už siųsti ir priimti duomenis tikslams.
• Tai naudinga tam tikrais atvejais, kai priešingu atveju reikia baltąjį jūsų ugniasienės arba iptables setup, pavyzdžiui, kai veikia dviem skirtingais regionams AWS.
• Leisti pradinio prijungimo lag. Naudinga, kai laukia SSH proxy prisijungti. [Chosė Diaz-Gonzalez]
• Nustatyti klausimas, kur tam tikros konfigūracijos pagal nutylėjimą buvo netinkamo vertę. [Chosė Diaz-Gonzalez]
• Leisti nurodant priimančiosios per vėliava. Uždaro # 70. [Chosė Diaz-Gonzalez]

Reikalavimai :

• Python