关于robots中的“*”通配符的使用问题

南京二本大学2022-10-11  10

关于“*”通配符在robots中的使用介绍关于“*”通配符在robots中的使用:由于网站是自研程序,设置了很多圈子,而且圈子都是用户自己建立的,这里会出现一个问题,就是每个圈子都有一个发帖页面。因为量大,爬行的蜘蛛也多,影响了网站的整体爬行。现在我想屏蔽这个发帖页面,但是我有一个问题。
转载请注明原文地址:https://juke.outofmemory.cn/read/2011947.html

最新回复(0)