百度蜘蛛问题

百度蜘蛛问题百度蜘蛛问题介绍:百度蜘蛛抓取了很多这样的重复网址，可以被机器人屏蔽吗？ ltp gt ltstrong gt推青蛙说: ltp gt1.如果没有太大意义，这种也包括在内，可以被机器人禁止。