Integrieren Sie Selenium mit Scrapy for Dynamic Page Scraping

, wenn Sie versuchen, Daten aus dynamischen Webseiten mit Scrapy zu kratzen, kann der Standard -Crawling -Prozess kurz bleiben. Dies ist häufig der Fall, wenn die Pagination auf asynchronem Laden abhängt, z. B. auf eine "nächste" -Kaste klicken, die die URL nicht ändert. Um diese Herausforderung zu überwinden, kann es eine effektive Lösung sein, Selenium in Ihre Scrapy -Spinne einzubeziehen. Zu einigen häufigen Ansätzen gehören jedoch:

in der parse () Methode:

Dieser Ansatz beinhaltet die Verwendung von Selenium innerhalb der Parse () -Methode Ihrer Spinne, um die Pagination und die Datenextraktion für jede Seite zu verarbeiten. Das führt die Pagination vor, bevor die Antwort an die Parse () -Methode der Spinne weitergegeben wird.

Selenium in einem separaten Skript ausführen:
• Alternativ können Sie Selenium -Befehle in einem separaten Skript ausführen, das extern zu Ihrem Scrapy -Spinnen ist. Dies ermöglicht eine flexiblere Kontrolle über die Selenium -Logik.
• Beispiel für die Verwendung von Selenium mit Scrapy
zum Beispiel Angenommen, Sie möchten pagierte Ergebnisse auf Ebay abkratzen. Das folgende Ausschnitt zeigt, wie man Selenium in Scrapy integriert:
• Scrapy importieren vom Selenium importieren Webdriver Klassenproduktespider (Scrapy.spider): name = "product_spider" erlaubt_domains = ['eBay.com'] start_urls = ['https://www.ebay.com/sch/i.html?_odkw=books&_osacat=0& def __init __ (selbst): self.driver = webdriver.firefox () Def Parse (Selbst, Antwort): self.driver.get (response.url) während wahr: next = selfriver.find_element_by_xpath ('// td [@class = "pagn-next"]/a')) versuchen: Weiter.click () # Die Daten hier erhalten und verarbeiten außer: brechen self.driver.close ()

Alternative: Die Verwendung von Scrapyjs Middleware

In einigen Fällen kann die Verwendung des Middleware aus Scrapyjs ausreichen, um dynamische Portionen einer Webseite zu verarbeiten, ohne Selenium zu erfordern. Mit dieser Middleware können Sie benutzerdefinierte JavaScript im Scrapy -Framework ausführen.

finden Sie in den bereitgestellten Links für zusätzliche Beispiele und Anwendungsfälle für die Integration von Selenium in Scrapy.