scrapy的爬虫如何做URL参数化去重。（非简单的那种）

scrapy的爬虫是怎么做URL参数化和去重的？ scrapy的(非简单)爬虫是如何做URL参数化和去重的？ 简介:如果想用SCRAPY爆一个宝藏店，Basespider因为后期维护的麻烦不是首选。 我希望它能以爬行的方式完成。 只要把商店网址扔进去就行了。 但是有一个问题，比如程序执行到list page /se。