用robots屏蔽的链接，百度蜘蛛还是会抓取怎么回事？

百度蜘蛛还是会抓取被机器人屏蔽的链接。这是怎么回事？百度蜘蛛还是会抓取被机器人屏蔽的链接。这是怎么回事？导读:为什么我会用机器人屏蔽一些不存在的网站链接，查看网站日志或者让百度蜘蛛抓取？ ltp gt ltstrong gt小财神说: ltp gt过了一段时间，这并不能立即奏效。