蜘蛛一直只抓取首页，怎么才能更好的抓取到内容页

蜘蛛只会一直爬上首页。怎样才能更好的抓取内容页？怎样才能更好的抓取内容页？简介:蜘蛛一直只爬首页。怎样才能更好的抓取内容页？现在有了roboot文件。删除后会不会爬出来？ ltp gt ltstrong gt叶抬脚说道: ltp gt建议你为了网站。