Scrapy

Scrappy yra parašyta 100% Python ir gali būti naudojama paprasta duomenų gavybos, kad puslapio stebėjimo, tinklo paieškos ir netgi kodo testavimo.
Scrapy nėra paieškos sistema tikrąja šio žodžio prasme, tačiau ji veikia kaip vienas (be indeksavimo dalis). Tačiau Scrapy gali būti puikus įrankis kurti savo paieškos logiką.
Tikroji galia šioje sistemoje remiasi savo pagrindinę universalumas, Scrapy būdamas ant kurio pastatyti bendruosius ar specialiuosius paieškos vorai (vikšrai) apie sistemą.
Nors tai gali skambėti labai sudėtinga ne techninio vartotojams, su greitai atrodo per dokumentus ir turimus vadovėliai, tai gana paprasta pamatyti, kaip Scrapy pavyko imti visas sunkiai dirbti iš šio ir sumažinti visą procesą tiesiog kelių eilučių kodą (lengviau, mažesni skaitytuvai)

Kas naujo , šioje laidoje.

• Unquote prašymas kelias Prieš pereinant prie FTPClient, ji jau gelbėjimosi takai.
• Įtraukti testų / į šaltinį pasiskirstymą MANIFEST.in.

Kas naujo versijos 1.0.1:

• Unquote prašymas PATH prieš pereinant prie FTPClient, ji jau gelbėjimosi takai.
• Įtraukti testų / į šaltinį pasiskirstymą MANIFEST.in.

Kas naujo versijos 0.24.6:

• Pridėti UTF8 koduotę antraštę šablonų
• Telnet konsolės dabar rišasi su 127.0.0.1 pagal nutylėjimą
• Atnaujinti Debian / Ubuntu įdiegti instrukcijos
• Išjungti protingų eilutes į lxml XPath vertinimų
• Atkurti failų sistemos pagrindu talpyklą kaip numatytąją HTTP laikinojoje tarpinės
• Expose dabartinę robotas į Scrapy lukštais;
• Pagerinti TestSuite lyginant CSV ir XML eksportuotojams;
• Nauja išorinis / filtruojamas ir išorinis / domenai statistika
• Paramos process_links kaip generatoriui CrawlSpider

Kas naujo versijos 0.24.5:

• Pridėti UTF8 koduotę antraštę šablonų
• Telnet konsolės dabar rišasi su 127.0.0.1 pagal nutylėjimą
• Atnaujinti Debian / Ubuntu įdiegti instrukcijos
• Išjungti protingų eilutes į lxml XPath vertinimų
• Atkurti failų sistemos pagrindu talpyklą kaip numatytąją HTTP laikinojoje tarpinės
• Expose dabartinę robotas į Scrapy lukštais;
• Pagerinti TestSuite lyginant CSV ir XML eksportuotojams;
• Nauja išorinis / filtruojamas ir išorinis / domenai statistika
• Paramos process_links kaip generatoriui CrawlSpider

Kas naujo versijos 0.22.0:

• Pervardyti scrapy.spider.BaseSpider į scrapy.spider .Spider
• Skatinti paleisties info nustatymus ir tarpinės info lygio;
• Paramos Daliniai į get_func_args util
• Leisti veikia individualias bandymus per tox
• Atnaujinti plėtinius ignoravo link siurblius;
• selektoriai užsiregistruoti EXSLT vardų pagal nutylėjimą
• Suvienodinti punktas krautuvai, panašūs į selektoriai pervadinti "
• Padaryti RFPDupeFilter klasės lengvai subclassable
• Pagerinti bandymų apimtis ir būsimą Python 3 pagalba

Kas naujo 0.20.1 versija:

• include_package_data reikia statyti ratus iš paskelbtų šaltinių.

Kas naujo versijos 0.18.4.

• Fiksuotas AlreadyCalledError pakeičiant lukštuose komandą prašymą
• Fiksuotas start_requests lazyness ir ankstyvųjų stringa.

Kas naujo versijos 0.18.1.

• Pašalinta papildomų importo pridėtinės vyšnių pakėlė pakeitimus
• Fiksuotas nuskaitymo bandymai pagal vytos anksto 11.0.0.
• py26 negali formatuoti nulį ilgio laukus {}.
• Patikrinkite PotentiaDataLoss klaidų Nesurištųjų atsakymų.
• Gydyti atsakymus be turinio ilgio arba Perdavimo-Encoding taip gerai atsakymų.
• Ar ne apima ResponseFailed jei http11 prižiūrėtojas neįjungtas.

Reikalavimai :

• Python 2.7 arba naujesnė versija;
• Vytos 2.5.0 arba naujesnė
• libxml2 2.6.28 arba naujesnė
• pyOpenSSL