关于robots.txt的问题推荐热议

关于robots.txt的问题推荐，热议。简介:我的网站是一个asp文件制作的html页面，也就是同一个内容有两个URL与之对应。 例如，主页文件包含index.asp，同时生成一个index.html。 配置文件页面文件包括about.asp，还