如何将硒与砂纸集成以有效刮擦动态网页？
浏览：757
在尝试使用scrapy从动态网页上刮擦数据时，将硒与动态页面刮擦的scrapy集成在一起，标准爬行过程可能很短。当分页依赖异步加载时，通常是这种情况，例如单击不修改URL的“下一个”按钮。为了克服这一挑战，将硒纳入您的废品蜘蛛可以是一个有效的解决方案。
在零食蜘蛛中的最佳位置取决于特定的刮擦要求。但是，几种常见的方法包括： 方法：
此方法涉及在蜘蛛的parse（）方法中使用硒来处理每个页面的分页和数据提取的方法。在传递蜘蛛parse（）方法的响应之前执行分页的中间件。另外，您可以在单独的脚本中执行Selenium命令，外部是零工蜘蛛的外部。这允许对Selenium逻辑进行更灵活的控制。
将硒与scrapy 一起使用，假设您想在eBay上划破聊天结果。以下片段演示了如何将硒与砂整合： start_urls = ['https://www.ebay.com/sch/i.html?_odkw=books&_osacat=0&_trksid=p2045573.m570.l1313.TR0.TRC0.Xpython&_nkw=python&_sacat=0&_from=R40'] def __init __（自我）： self.driver = webdriver.firefox（） DEF PARSE（自我，响应）： self.driver.get（wendesp.url） 而真： next = self.driver.find_element_by_xpath（'// td [@class =“ pagn-next”]/a'） 尝试： next.click（） ＃在此处获取数据 除了： 休息 self.driver.close（）
在某些情况下，使用Scrapyjs Middleware可能足以处理网页的动态部分，而无需Selenium。此中间件允许您在零工框架中执行自定义JavaScript。
- 请参阅提供的链接，以获取其他示例，并将其与scrapy集成。
-
如何使用PHP从XML文件中有效地检索属性值？从php $xml = simplexml_load_file($file); foreach ($xml->Var[0]->attributes() as $attributeName => $attributeValue) { echo $attributeName,...编程 发布于2025-03-25 -
如何使用不同数量列的联合数据库表？合并列数不同的表 当尝试合并列数不同的数据库表时，可能会遇到挑战。一种直接的方法是在列数较少的表中，为缺失的列追加空值。 例如，考虑两个表，表 A 和表 B，其中表 A 的列数多于表 B。为了合并这些表，同时处理表 B 中缺失的列，请按照以下步骤操作： 确定表 B 中缺失的列，并将它们添加到表的末...编程 发布于2025-03-25
-
为什么我会收到MySQL错误＃1089：错误的前缀密钥？mySQL错误＃1089：错误的前缀键错误descript [＃1089-不正确的前缀键在尝试在表中创建一个prefix键时会出现。前缀键旨在索引字符串列的特定前缀长度长度，可以更快地搜索这些前缀。了解prefix keys `这将在整个Movie_ID列上创建标准主键。主密钥对于唯一识别...编程 发布于2025-03-25
-
如何将多种用户类型（学生，老师和管理员）重定向到Firebase应用中的各自活动？Red: How to Redirect Multiple User Types to Respective ActivitiesUnderstanding the ProblemIn a Firebase-based voting app with three distinct user type...编程 发布于2025-03-25
-
如何从Python中的字符串中删除表情符号：固定常见错误的初学者指南？从python import codecs import codecs import codecs 导入 text = codecs.decode（'这狗\ u0001f602'.encode（'utf-8'），'utf-8'） 印刷（文字）＃带有...编程 发布于2025-03-25
-
哪种在JavaScript中声明多个变量的方法更可维护？在JavaScript中声明多个变量：探索两个方法在JavaScript中，开发人员经常遇到需要声明多个变量的需要。对此的两种常见方法是：在单独的行上声明每个变量： 当涉及性能时，这两种方法本质上都是等效的。但是，可维护性可能会有所不同。 第一个方法被认为更易于维护。每个声明都是其自己的语句，使其...编程 发布于2025-03-25
-
如何限制动态大小的父元素中元素的滚动范围？在交互式接口中实现垂直滚动元素的CSS高度限制问题：考虑一个布局，其中我们具有与用户垂直滚动一起移动的可滚动地图div，同时与固定的固定sidebar保持一致。但是，地图的滚动无限期扩展，超过了视口的高度，阻止用户访问页面页脚。$("#map").css({ marginT...编程 发布于2025-03-25
-
版本5.6.5之前，使用current_timestamp与时间戳列的current_timestamp与时间戳列有什么限制？在时间戳列上使用current_timestamp或MySQL版本中的current_timestamp或在5.6.5 此限制源于遗留实现的关注，这些限制需要对当前的_timestamp功能进行特定的实现。 创建表`foo`（ `Productid` int（10）unsigned not n...编程 发布于2025-03-25
-
如何从Google API中检索最新的jQuery库？从Google APIS 问题中提供的jQuery URL是版本1.2.6。对于检索最新版本，以前有一种使用特定版本编号的替代方法，它是使用以下语法：获取最新版本：未压缩）While these legacy URLs still remain in use, it is recommended ...编程 发布于2025-03-25
-
如何为PostgreSQL中的每个唯一标识符有效地检索最后一行？postgresql：为每个唯一标识符在postgresql中提取最后一行，您可能需要遇到与数据集合中每个不同标识的信息相关的信息。考虑以下数据：[ 1 2014-02-01 kjkj 在数据集中的每个唯一ID中检索最后一行的信息，您可以在操作员上使用Postgres的有效效率： id dat...编程 发布于2025-03-25
-
如何在JavaScript对象中动态设置键？在尝试为JavaScript对象创建动态键时，如何使用此Syntax jsObj['key' i] = 'example' 1;不工作。正确的方法采用方括号： jsobj ['key''i] ='example'1; 在JavaScript中，数组是一...编程 发布于2025-03-25
-
如何在Java中正确显示“ DD/MM/YYYY HH：MM：SS.SS”格式的当前日期和时间？如何在“ dd/mm/yyyy hh：mm：mm：ss.ss”格式“ gormat 解决方案： args）抛出异常{ 日历cal = calendar.getInstance（）; SimpleDateFormat SDF =新的SimpleDateFormat（“...编程 发布于2025-03-25
-
Java是否允许多种返回类型：仔细研究通用方法？在Java中的多个返回类型：一种误解类型：在Java编程中揭示，在Java编程中，Peculiar方法签名可能会出现，可能会出现，使开发人员陷入困境，使开发人员陷入困境。 getResult（string s）; ，其中foo是自定义类。该方法声明似乎拥有两种返回类型：列表和E。但这确实是如此吗...编程 发布于2025-03-25
-
如何使用Regex在PHP中有效地提取括号内的文本php：在括号内提取文本在处理括号内的文本时，找到最有效的解决方案是必不可少的。一种方法是利用PHP的字符串操作函数，如下所示： 作为替代 $ text ='忽略除此之外的一切（text）'; preg_match（'＃（（。 &&& [Regex使用模式来搜索特...编程 发布于2025-03-25
学习中文
- 1 走路用中文怎么说？走路中文发音，走路中文学习
- 2 坐飞机用中文怎么说？坐飞机中文发音，坐飞机中文学习
- 3 坐火车用中文怎么说？坐火车中文发音，坐火车中文学习
- 4 坐车用中文怎么说？坐车中文发音，坐车中文学习
- 5 开车用中文怎么说？开车中文发音，开车中文学习
- 6 游泳用中文怎么说？游泳中文发音，游泳中文学习
- 7 骑自行车用中文怎么说？骑自行车中文发音，骑自行车中文学习
- 8 你好用中文怎么说？你好中文发音，你好中文学习
- 9 谢谢用中文怎么说？谢谢中文发音，谢谢中文学习
- 10 How to say goodbye in Chinese? 再见Chinese pronunciation, 再见Chinese learning
