关于robots.txt的问题

推蛋2022-10-16  12

关于robots.txt的问题关于robots.txt的问题介绍:网站有二级域名,但是和www不在同一个服务器上。像这样写robots.txt文件,需要独立写二级域名吗?如果有蜘蛛不想爬的二级域名,如何用robots.txt屏蔽?非常感谢大家的回答!
转载请注明原文地址:https://juke.outofmemory.cn/read/2084091.html
最新回复(0)