scrapy遇到重复页面就停止对指定url的递归抓取

Scrapy在遇到重复页面时会停止递归爬取指定的url。简介:标题的表达可能难以理解，即我正在尝试抓取dhgate.com所有服装产品的数据，但我在递归抓取下一页的链接时遇到了一些问题。 比如这个商品展示页面下面列出的商品链接，以及下一个页面的链接，最后都是获取的。