nutch有很多网站爬取不了比如163、新浪什么爬取不

还有很多nutch爬不上去的网站，比如163。新浪上有什么爬不上去的？什么东西不能爬在坚果上？新浪上有什么爬不上去的？导读:为什么nutch爬不上一些知名网站？是robots.txt的原因吗？解决方法:部分网站制定了反爬虫策略！防止别人爬！ lt/br gt；如果需要垂直爬虫，建议使用 lta href = quothttp://www.oschi