robots.txt已经屏蔽了蜘蛛抓取，为什么还是会搜到网站，求大神帮忙看看悬赏5元已结束

Robots.txt已经屏蔽了蜘蛛抓取，为什么还能找到网站？求上帝帮你看看5元奖励已经结束了。robots.txt已经屏蔽了蜘蛛抓取，为什么还能找到网站？求上帝帮你看看5元奖励已经结束了。简介:这是一个测试网站，网站还没有上线，但是已经收录了测试版网站。这种情况我们该怎么办？我们的目的不是搜索测试版网站。 ltp gt ltstrong gt高飞说: ltp gt