دمج السيلينيوم مع Scrapy for Dynamic Page Draging

عند محاولة إزالة البيانات من صفحات الويب الديناميكية باستخدام Scrapy ، قد تكون عملية الزحف القياسية قصيرة. غالبًا ما يكون هذا هو الحال عندما يعتمد ترقيم الصفحات على التحميل غير المتزامن ، مثل النقر على زر "التالي" الذي لا يعدل عنوان URL. للتغلب على هذا التحدي ، يمكن أن يكون دمج السيلينيوم في عنكبوت Scrapy الخاص بك حلاً فعالًا. ومع ذلك ، تتضمن العديد من الأساليب الشائعة: البرامج الوسيطة التي تؤدي ترقيم الصفحات قبل تمرير الاستجابة إلى طريقة تحليل العنكبوت. هذا يسمح بتحكم أكثر مرونة في منطق السيلينيوم.

مثال على استخدام السيلينيوم مع scrapy

• استيراد Scrapy من السيلينيوم استيراد webdriver Productspider Class (scrapy.spider): name = "product_spider" المسموح بها _domains = ['eBay.com'] start_urls = ['https://www.ebay.com/sch/i.html؟_odkw=books&amp؛_osacat=0&amp؛_trksid=p2045573.m570.l1313.tr0.trc0.xphathon&amp؛_nkw=python. def __init __ (الذات): self.driver = webdriver.firefox () Def Parse (الذات ، الرد): self.driver.get (response.url) بينما صحيح: التالي = self.driver.find_element_by_xpath ('// td [@class = "pagn-next"]/a') يحاول: next.click () # احصل ومعالجة البيانات هنا يستثني: استراحة self.driver.close ()
بديل: استخدام scrapyjs middleware
• في بعض الحالات ، قد يكون استخدام الوسيطة scrapyjs كافية للتعامل مع الأجزاء الديناميكية من صفحة الويب دون طلب السيلينيوم. يتيح لك هذا الوسيطة تنفيذ JavaScript المخصصة ضمن إطار Scrapy.