new to scrapy增量爬取 仅提供几个思路，详細解决方案自己解决后后续跟进。

如果只是一次性的抓取某个网站的全部内容 中途需要暂停并且恢复，只需要

如果需求是过滤某些url泹是网站的主入口不被过滤掉，比如典型的论坛类网站你只想过滤掉帖子，但是却不想过滤掉板块你可以定制一下requestSeen

果使所有网站的动態过滤，比如是不是多了一个新回复在url上的变化并不能体现出来，搜索引擎采用的是一系列的算法判断某一个页面的更新时机。个人應

用一般不会使用到（其实是自己也不懂写出来提供一下思路，也许你会呢）大部分的网页在进入下一级页面的时候都会有一个类似於最后更新时间，最后活动时

间等等可以根据这个来进行判断。

采用scrapy增量爬取来爬取爱奇艺电视劇频道数据导入mysql数据库但是一直有个别重复数据。麻烦指导下看看什么问题

new to scrapy增量爬取 仅提供几个思路，详細解决方案自己解决后后续跟进。

如果只是一次性的抓取某个网站的全部内容 中途需要暂停并且恢复，只需要

如果需求是过滤某些url泹是网站的主入口不被过滤掉，比如典型的论坛类网站你只想过滤掉帖子，但是却不想过滤掉板块你可以定制一下requestSeen

果使所有网站的动態过滤，比如是不是多了一个新回复在url上的变化并不能体现出来，搜索引擎采用的是一系列的算法判断某一个页面的更新时机。个人應

用一般不会使用到（其实是自己也不懂写出来提供一下思路，也许你会呢）大部分的网页在进入下一级页面的时候都会有一个类似於最后更新时间，最后活动时

间等等可以根据这个来进行判断。