robots了整站，却还收录了网站内页。各位来探讨一下。

机器人访问了整个网站，但也包括网站的内页。 大家讨论一下。 机器人访问了整个网站，但也包括网站的内页。 大家讨论一下。 导读:个人认为应该是之前，网站没有设置机器人的时候，百度抓取数据后就已经建立了数据，而百度建立数据后，我直接设置了机器人，所以之前百度抓取的数据现在不知道是什么原因，我网站内页抓取的数据才发布。