動的ページ用の Selenium と Scrapy の統合

動的コンテンツを含む複雑な Web サイトをスクレイピングする場合、Web 自動化フレームワークである Selenium をScrapy は、課題を克服するための Web スクレイピング フレームワークです。

Scrapy への Selenium の統合Spider

Selenium を Scrapy スパイダーに統合するには、スパイダーの __init__ メソッド内で Selenium WebDriver を初期化します。

import scrapy
from selenium import webdriver

class ProductSpider(scrapy.Spider):
    name = "product_spider"
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/shanghai']
    
    def __init__(self):
        self.driver = webdriver.Firefox()

次に、parse メソッド内の URL に移動し、Selenium メソッドを利用してページと対話します。

def parse(self, response):
    self.driver.get(response.url)
    next = self.driver.find_element_by_xpath('//td[@class="pagn-next"]/a')
    next.click()

このアプローチを利用すると、ユーザー インタラクションをシミュレートし、動的なページをナビゲートし、必要なデータを抽出できます。

Scrapy で Selenium を使用する代替方法

特定のシナリオでは、ScrapyJS ミドルウェアを使用すると、Selenium に依存せずにページの動的部分を十分に処理できる場合があります。たとえば、次の例を参照してください:

# scrapy.cfg
DOWNLOADER_MIDDLEWARES = {
    'scrapyjs.SplashMiddleware': 580,
}

# my_spider.py
class MySpider(scrapy.Spider):
    name = 'my_spider'
    start_urls = ['http://example.com/dynamic']
    
    def parse(self, response):
        script = 'function() { return document.querySelectorAll("div.product-info").length; }'
        return Request(url=response.url, callback=self.parse_product, meta={'render_javascript': True, 'javascript': script})

    def parse_product(self, response):
        product_count = int(response.xpath('//*[@data-scrapy-meta]/text()').extract_first())

このアプローチでは、ScrapyJS を使用した JavaScript レンダリングを使用して、必要なデータを取得します。セレンを使用しています。