网站首页、分类等列表页是否有必要用robots.txt禁止收录翻页？悬赏1元已结束

有必要使用robots.txt禁止首页、分类等列表页面的翻页吗？有必要用robots.txt禁止1元已结束的网站首页、分类等列表页面的翻页吗？1元奖励已结束。简介:首页、分类表、标签页等有很多分页页面。欧洲和美国的个人博客网站。标题、关键词、描述等。基本上是一样的。最多加“哪一页”。 有站长说为了集权，其他分页都要屏蔽，只保留第一页，可以用robots.txt实现；有