PHPCrawl

Gali būti naudojamas raštu paieškos skaitytuvai (vorai), kad minų tinklalapius įvairios informacijos.
PHPCrawl įgyja informacijos buvo sukonfigūruotas taip, kad parsiųsti ir perduoda ją į galingesni programos tolesniam perdirbimui

Savybės :.

• Filtrai URL ir Content-Type duomenys
• Nustatyti būdų tvarkyti slapukus
• Nustatyti būdų, kaip robots.txt failus
• Apriboti savo veiklą įvairiais būdais
• Kelių apdorojimo režimus

Kas naujo , šioje laidoje:

• Suremontuota:
• Nuorodos, kurios yra iš dalies urlencoded ir iš dalies ne gauti matricų / užkoduota teisingai dabar.
• Pašalinta nereikalingas derinimo var_dump () iš PHPCrawlerRobotsTxtParser.class.php
• Serverio pavadinimas indikacijos TLS / SSL veikia teisingai dabar.
• & quot; bazinių href & quot;. -tags Į svetainę gauti aiškinama teisingai dabar vėl

Kas naujo versija 0,80 beta:

• kodeksas buvo visiškai išimant, perkeltas į PHP5-oo- buvo perrašytas kodas ir kodo aikštelė.
• Pridėta galimybė naudoti naudoti kelis procesus voras svetainę. Metodas & quot; goMultiProcessed () & quot; pridėta.
• Nauja overridable metodas & quot; initChildProcess () & quot;
pridėta pradėti vaikų procesus naudojant skaitytuvas multi-procesas-režimu.
• Implementet alternatyvą, vidaus SQLite spartinimo-mechanizmas URL, kad būtų galima voras labai daug svetainių.
• metodas & quot; setUrlCacheType () & quot; pridėta.
• Nauja metodas GetWorkingDirectory () pridėtinės apibrėžti iš skaitytuvai vietą laikinai darbingo katalogas rankiniu būdu. Atitinkamai metodas & quot; setTmpFile () & quot; pažymėtas kaip nenaudotinas (neatlieka jokios funkcijos nebėra).
• Naujas metodas ir & quot; addContentTypeReceiveRule () & quot; pakeičia senas metodas & quot; addReceiveContentType () & quot;.
• funkcija & quot; addReceiveContentType () & quot; dar yra, tačiau buvo pažymėtas kaip nenaudotinas.

Reikalavimai :

• PHP 5 arba didesnis
• PHP su OpenSSL paramos