Methabot

Methabot programinė įranga yra greičio optimizuotas, scenarijus ir labai konfigūruojama interneto, FTP ir vietos failų sistema robotas. Jis palaiko scenarijus filetype apdorojant, platų tinkinimo parinkčių ir yra lengvai konfigūruojamas, kad atitiktų kažkieno poreikius.
Su modulio sistemos ir skriptų kalbos vartojimo, vartotojai gali visiškai arba iš dalies kontroliuoti nuskaitymu ir nuspręsti, tačiau Methabot turėtų saugoti interneto duomenis, statistiką ir daug daugiau.
Tiesiog veikia Methabot iš komandinės eilutės galite konfigūruoti užsakymą failų tipų, išraiškas, elgesį, ir daug daugiau filtravimas, todėl jūs neturite būti scripter

Įranga ,!:

• Tai greita, skirta nuo žemės ir su greičio optimizavimo galvoje.
• Scriptable per Javascript su E4X
• Vartotojo nustatytas failo tipą filtravimas (pagal MIME tipą, failo plėtinys ar UMEX išraiška);
• Wielowątkowych
• Labai konfigūruojama iš komandinės eilutės,
• Išplėstinė modulis sistema, remti užsakymą duomenų sintaksės analizatoriaus ir filtrus.
• Paprasta dar galinga filtravimo URL per UMEX.
• Automatiniai parsisiuntimas;
• Parama automatinis slapukų tvarkymo važiuojant per HTTP,
• Patikimas, kaltės tolerantiškas tinklų;
• Nešiojami, išbandyta su sėkmės 32-bit / 64-bit Linux 2.6, 32 bitų / 64 bitų FreeBSD 6.x / 7.0, "Windows XP" ir "Mac OS X turi dirbti beveik bet kurioje Unix tipo OS.

Kas naujo , šioje laidoje:

• Ištaisyta, kai buvo naudojamas išorinis-žvilgtelėti gylio riba buvo messed up.
• Atminties naudojimas valymas pataisymai;
• dinaminio URL variantas nebėra nustatyti peržvalgos pagal nutylėjimą, nes jis lėtina žymiai nuskaitymo
• Sudėjimas sistema dabar sukuria ir įdiegia keletą antraščių failus, moduliai gali naudoti, kai susiejimas,
• Metha-config įrankis pridėjo
• lmm_mysql persikėlė už šį paketą

Kas naujo versijos 1.5.0:

• Pokyčiai ir naujos funkcijos: "
• Parama skaityti pirminius buferį iš standartinio įvesties
• - pridūrė tipas ir --base-url komandinės eilutės parinktis, kartu su initial_filetype parinktį konfigūracijos failus
• Slapukai ir DNS informacijos dabar tinkamai dalijasi darbuotojų, kai veikia daugiasrautį
• Pridėta kai pavyzdys naudojimas komandas --examples
• Didelės patobulinimų tarp gijų bendravimo, dabar greičiau ir organizuotas;
• Pridėtas "Init" funkcijas į scenarijų. Skaityti daugiau apie init funkcijas ne http://bithack.se/projects/methabot/docs/e4x/init_functions.html
• libmetha neužšąla, kai darai kelis vienu metu HTTP HEAD užklausas nebėra. Už užšąla priežastis buvo į libcurl klaidą, kuri dabar yra fiksuota.
Kai apeiti buvo įtraukta į libmetha užkirsti kelią užšąla nuo praradimo, naudojant defektas libcurl versijas kaip gerai.
• Parama vyresnio amžiaus libcurl versijų 7.17.x ir 7.16.x
• Nauja informacija yra prieinama & quot; tai & quot; objektas javascript analizatorius, Content-Type ir perdavimas būsenos kodą. Skaitykite daugiau http://bithack.se/projects/methabot/docs/e4x/this.html
• - daugiakalbė galimybė pakeisti --silent, nes daugiažodis režimas dabar pagal nutylėjimą;
• Pirminis parama FTP nuskaitymo ir ftp_dir_url vikšriniai variantas;
• gylį ribojančių dabar robotas-specifinis,
• Pridėta komandų eilutės parinktis --crawler ir --filetype
• Parama išplėsti ir viršesnio jau nustatytus skaitytuvai ir tipų failus,
• Parama kopijavimo raktinį žodį konfigūracijos failus,
• Parama dinamiškai perjungiant aktyvų robotas, tai leidžia jums nuskaityti įvairias svetaines visiškai skirtingais būdais vienoje nuskaitymo sesijoje. Skaityti daugiau apie vikšrinis perjungimo ne http://bithack.se/projects/methabot/docs/crawler_switching.html
• libev versija atnaujinti 3,51;
• įtraukiant Direktyvą konfigūracijos failus dabar užtikrina įtraukti konfigūracijos failo dar nebuvo pakrautas, užkirsti kelią įtraukti linijų ir kelių tipų failai / vikšriniai apibrėžimus.
• Įvairūs SpiderMonkey šiukšlių surinkimo pataisymai, libmetha nėra gedimų nebėra kada išvalyti po wielowątkowego sesijos;
• Pridėta papildomų informaciją --info galimybe;
• "išorinė" variantas dabar yra fiksuota ir leido vėl "
• nauja galimybė --spread-darbuotojai,
• Nauja libmetha API funkcija lmetha_global_setopt () leidžia keisti pasaulio klaida / pranešimas / įspėjimo reporteris "
• Pridėta pradinis įgyvendinimas bandymų komplektą kūrėjams;
• Geriau klaidos pranešimų, kai pakrovimo konfigūracijos failus,
• Ištaisyta kai HTTP serveris po HEAD negrįžo į antraštę Content-Type "
• Ištaisyta kai rūšiavimo URL po kelių HTTP HEAD prašymus;
• Ištaisyta į XML konverteris html, kai puslapio HTML neturėjo & lt; HTML & gt; Gairė
• Ištaisyta, extless-URL variantas nepadėjo,
• Ištaisyta, HTML xml konverteris nebėra droseliai ant baitų eilės ženklų ar kito teksto iki faktinio HTML
• Ištaisyta, neleido libmetha iš bando prieiti URL protokolus, kurie yra nepalaikomas
• Ištaisyta kai nutrūkusio po klaidos.
• Ištaisyta, unresolvable URL nebuvo išeiti nuskaičiuoti kilpa po trijų pakartojimų;
• Labai eksperimentinis ir nestabili parama Win32, daugiausia skirtas programuotojams,
• Nauji konfigūracijos failai:
• google.conf, kad ieškoti Google "
• youtube.conf, "YouTube" ieškoti "
• meta.conf spaudiniai Meta informacija, pvz raktažodžius ir aprašymą apie HTML puslapius;
• title.conf, spausdina HTML puslapiuose pavadinimas
• ftp.conf, nuskaitymo FTP serverių,

Kas naujo 1.4.1 versijoje:

• Konfigūruoti negalėjo rasti jsapi.h kai kuriose sistemose tai turėtų būti nustatyta dabar.
• konfigūraciniai failai dabar gali keisti vikšriniai ir FileType vėliavas, papildomas parinktis "išorės" ir "external_peek"
• Ištaisyta, Methabot būtų kartais katastrofos, kai valymo tuščias URL po kelių HTTP HEAD
• Ištaisyta avarijos, kad įvyko, kai veikia sinchroniškai.
• Sudėjimas sistema apima fix, kai jsconfig.h negalėjo būti nustatyta. "

Reikalavimai

• SpiderMonkey antraštes,
• Curl "