Intégrez le sélénium avec le scrapy pour le grattage dynamique de pages

Lorsque vous tentez de gratter les données des pages Web dynamiques à l'aide de Scrapy, le processus de rampe standard peut être court. C'est souvent le cas lorsque la pagination repose sur le chargement asynchrone, comme cliquer sur un bouton "Suivant" qui ne modifie pas l'URL. Pour surmonter ce défi, l'incorporation de sélénium dans votre araignée de scrothérapie peut être une solution efficace.

Placer du sélénium dans votre araignée

Le placement optimal du sélénium dans votre araignée de scrothérapie dépend des exigences de grattage spécifiques. Cependant, plusieurs approches communes incluent:

• à l'intérieur de la méthode Parse (): Cette approche implique d'utiliser le sélénium dans la méthode parse () de votre araignée pour gérer la pagination et l'extraction de données pour chaque page. Middleware qui effectue la pagination avant de passer la réponse à la méthode Parse () de Spider. Cela permet un contrôle plus flexible sur la logique de sélénium.
• Exemple d'utilisation de sélénium avec scrapy
• Par exemple, supposons que vous souhaitiez gratter les résultats paginés sur eBay. L'extrait suivant montre comment intégrer le sélénium avec Scrapy:
Importer Scrapy à partir de Selenium Import WebDriver Class ProductsPider (Scrapy.spider): name = "product_spider" autorisé_domains = ['ebay.com'] start_urls = ['https://www.ebay.com/sch/i.html?_odkw=Books&amp ;_osacat=0&_trksid=p2045573.m570.l1313.tr0.trc0.xpython&amp ;_nkw=python&amp ;_sacat=0& def __init __ (soi): self.driver = webdriver.firefox () Def Parse (soi, réponse): self.driver.get (réponse.url) Bien que vrai: next = self.driver.find_element_by_xpath ('// td [@ class = "pagn-next"] / a') essayer: Next.click () # Obtenez et traitez les données ici sauf: casser self.driver.close ()

Alternative: Utilisation du middleware Scrapyjs

Dans certains cas, l'utilisation du middleware ScrapyJS peut être suffisante pour gérer les parties dynamiques d'une page Web sans nécessiter de sélénium. Ce middleware vous permet d'exécuter JavaScript personnalisé dans le framework de scrapy.