为何百度蜘蛛总是无法抓取站内搜索的聚合页？

为什么百度蜘蛛总是爬不到站内搜索到的聚合页面？为什么百度蜘蛛总是爬不到站内搜索到的聚合页面？简介:网站内容不是很大，所以想整合一些聚合页面供蜘蛛抓取，扩大索引和收藏。 站点里有搜索功能，所以想通过这种方式聚合一些页面的关键词和标签。 但是百度后台测试爬取诊断，搜索url中域名后面的搜索域。