yahi

yahi yra universalus žurnalas analizatorius teikti numatytuosius siurblius Apache / lighttpd.
Komandų eilutės naudojimas
Pavyzdys Duomenų išnagrinėtą su yahi: http://wwwstat.julbox.fr/
Paprasčiausias naudojimas yra:
speed_shoot -g / usr / local / duomenų / geoip / var / www / apache / prieiga * Prisijungti
jis grįš JSON forma:
{
& Nbsp; "by_date": {
& Nbsp; "2012/05/03": 11
& Nbsp;}
& Nbsp; "total_line": 11,
& Nbsp; "ip_by_url": {
& Nbsp; "/ favicon.ico": {
& Nbsp; "192.168.0.254": 2,
& nbsp; "192.168.0.35": 2
& Nbsp;}
& Nbsp; "/": {
& Nbsp; "74.125.18.162": 1,
& Nbsp; "192.168.0.254": 1,
& nbsp; "192.168.0.35": 5
& Nbsp;}
& Nbsp;}
& Nbsp; "by_status": {
& Nbsp; "200": 7
& Nbsp; "404": 4
& Nbsp;}
& Nbsp; "by_dist": {
& Nbsp; "nežinoma": 11
& Nbsp;}
& Nbsp; "bytes_by_ip": {
& Nbsp; "74.125.18.162": 151,
& Nbsp; "192.168.0.254": 489,
& Nbsp; "192.168.0.35": 1093
& Nbsp;}
& Nbsp; "by_url": {
& Nbsp; "/ favicon.ico": 4,
& Nbsp; "/": 7
& Nbsp;}
& nbsp; "by_os": {
& Nbsp; "nežinoma": 11
& Nbsp;}
& Nbsp; "week_browser": {
& Nbsp; "3": {
& Nbsp; "nežinoma": 11
& Nbsp;}
& Nbsp;}
& Nbsp; "by_referer": {
& Nbsp; "-": 11
& Nbsp;}
& Nbsp; "by_browser": {
& Nbsp; "nežinoma": 11
& Nbsp;}
& Nbsp; "by_ip": {
& Nbsp; "74.125.18.162": 1,
& Nbsp; "192.168.0.254": 3,
& nbsp; "192.168.0.35": 7
& Nbsp;}
& Nbsp; "by_agent": {
& Nbsp; "Mozilla / 5.0 (x11; Ubuntu; Linux x86_64; rv: 12,0) Gecko / 20.100.101 Firefox" / 12.0, gzip (GMU) (per translate.google.com): 1,
& Nbsp; "Mozilla / 5.0 (x11; Ubuntu; Linux x86_64; rv: 12,0) Gecko / 20.100.101 Firefox" / 12.0 ": 10
& Nbsp;}
& Nbsp; "by_hour": {
& Nbsp; "9": 3,
& Nbsp; "10": 4,
& Nbsp; "11": 1,
& Nbsp; "12": 3
& Nbsp;}
& Nbsp; "by_country": {
& Nbsp; ": 10,
& Nbsp; "JAV": 1
& Nbsp;}
}
Jei naudojate:
speed_shoot -f csv -g / usr / local / duomenų / geoip / var / www / apache / prieiga * Prisijungti
Jūsų rezultatas yra:
by_date, 2012-5-3,11
total_line 11
ip_by_url, / favicon.ico, 192.168.0.254,2
ip_by_url, / favicon.ico, 192.168.0.35,2
ip_by_url, /, 74.125.18.162,1
ip_by_url, /, 192.168.0.254,1
ip_by_url, /, 192.168.0.35,5
by_status, 200,7
by_status, 404,4
by_dist, nežinoma, 11
bytes_by_ip, 74.125.18.162,151
bytes_by_ip, 192.168.0.254,489
bytes_by_ip, 192.168.0.35,1093
by_url, / favicon.ico, 4
by_url, / 7
by_os, nežinoma, 11
week_browser, 3, nežinoma, 11
by_referer - 11
by_browser, nežinoma, 11
by_ip, 74.125.18.162,1
by_ip, 192.168.0.254,3
by_ip, 192.168.0.35,7
by_agent "Mozilla / 5.0 (x11; Ubuntu; Linux x86_64; rv: 12,0) Gecko / 20.100.101 Firefox" / 12.0, gzip (GMU) (per translate.google.com) ", 1
by_agent Mozilla / 5.0 (x11; Ubuntu; Linux x86_64; rv: 12,0) Gecko / 20.100.101 Firefox / 12.0,10
by_hour, 9,3
by_hour, 10,4
by_hour, 11,1
by_hour, 12,3
by_country ,, 10
by_country, JAV, 1
Na aš manau, ji neveikia, nes pirmiausia turite atnešti geoip duomenų failą:
wget -O- "http://www.maxmind.com/download/geoip/database/GeoLiteCountry/GeoIP.dat.gz" | zcat> /usr/local/data/GeoIP.dat
Žinoma, tai yra Geolite duomenų bazė, I do not įtraukti duomenis į paketą, nes geoip turi būti dažnai atnaujinamas likti tiksli.
Įprasta kelias geoip yra duomenų / GeoIP.dat
Naudoti kaip scenarijų
greitis šaudyti iš tiesų, kaip naudotis yahi kaip modulis šablonas:
/ Usr / bin / env python #!
nuo archery.bow importo Hankyu kaip _dict
nuo yahi importo žingsniu, šaudyti
nuo datetime importo datetime
kontekstas = klasės ()
date_formater = lambda dt: "% S% S% S"% (dt.year, dt.month, dt.day)
context.output (
& Nbsp; šaudyti (
& Nbsp; kontekstas,
& Nbsp; lambda duomenys: _dict ({
& Nbsp; "by_country": _dict ({duomenys ['_ šalies]: 1}),
& Nbsp; "by_date": _dict ({date_formater (duomenys ['_ datetime']): 1}),
& Nbsp; "by_hour": _dict ({. Duomenys ['_ datetime'] valanda: 1}),
& Nbsp; "by_os": _dict ({duomenys ['_ os_name']: 1}),
& Nbsp; "by_dist": _dict ({duomenys ['_ dist_name']: 1}),
& Nbsp; "by_browser": _dict ({duomenys ['_ BROWSER_NAME']: 1}),
& Nbsp; "by_ip": _dict ({duomenys [TL]: 1}),
& nbsp; "by_status": _dict ({duomenys ['status']: 1}),
& Nbsp; "by_url": _dict ({duomenys ['uri']: 1}),
& Nbsp; "by_agent": _dict ({duomenys ['agentas "]: 1}),
& Nbsp; "by_referer": _dict ({duomenys ['Nukreipėjo']: 1}),
& Nbsp; "ip_by_url": _dict ({duomenys ['uri']: _dict ({duomenys ['ip']: 1})}),
& Nbsp; "bytes_by_ip": _dict ({duomenys [TL]: int (duomenys ['baitų'])}),
& Nbsp; "week_browser":. _dict ({Duomenys ['_ datetime'] savaitės dieną ():
& Nbsp; _dict ({duomenys ["_ BROWSER_NAME"]: 1})}),
& Nbsp; "total_line": 1,
& Nbsp;}),
& Nbsp;)
)
Diegimas
paprasta, kaip:
PIP įdiegti yahi
arba:
easy_install yahi
rekomenduota naudojimas
- Už pagrindinio žurnalo agregacijos, aš recommand naudojant komandinę eilutę;
- Už vieną kadrą metrikos aš rekomenduoju interaktyvų konsolės (bpython arba ipython);
. - Konkrečių rodiklių ar įmantriais filtrų Aš recommand naudojant API

Reikalavimai :

• Python