如何获知BaiduSpider在网站爬行的规律？

如何学习BaiduSpider在网站上抓取的规则？如何学习BaiduSpider在网站上抓取的规则？导读:如何理解和学习BaiduSpider在网站中爬行的规律？ ltp gt ltstrong gt赵华说: lt/p gt； ltp gt分析网络日志、ip分析和目录爬网规则，查看它们都出现在哪里。