интегрировать селен с Scrapy для динамического скребки страниц

При попытке соскрести данные из динамических веб -страниц с использованием Scrapy, стандартный процесс ползания может прервать. Это часто относится к тому, что странификация опирается на асинхронную загрузку, например, нажатие на кнопку «Далее», которая не изменяет URL. Чтобы преодолеть эту проблему, включение селена в ваш Scrapy Spider может быть эффективным решением.

]

Этот подход включает в себя использование Selenium в методе Parse () вашего паука для обработки лиц и извлечения данных для каждой страницы. Это выполняет лиц, прежде чем передавать ответ на метод Parse () Spider's Parse ().

• запуск selenium в отдельном скрипте: Альтернативно, вы можете выполнить команды селена в отдельном скрипте, внешнее по отношению к вашему скребке. Это допускает более гибкий контроль над логикой селена. Следующий фрагмент демонстрирует, как интегрировать селен с помощью Scrapy:
start_urls = ['https://www.ebay.com/sch/i.html?_odkw=books&_osacat=0&_trksid=p2045573.m570.l1313.tr0.trc0.xpython&_nkw=python& def __init __ (self): self.driver = webdriver.firefox () def parse (self, response): self.driver.get (response.url) в то время как правда: next = self.driver.find_element_by_xpath ('// td [@class = "pagn-next"]/a') пытаться: Next.Click () # Получить и обработать данные здесь кроме: перерыв self.driver.close ()
• alternative: Использование промежуточного программного обеспечения ScrapyJS
• В некоторых случаях с использованием среднего программного обеспечения ScrapyJS может быть достаточным для обработки динамических порций веб -страницы, не требуя селена. Это промежуточное программное обеспечение позволяет вам выполнять пользовательский JavaScript в рамках скрещивания.