webmagic与curl命令的区别

webmagic和curl命令的区别webmagic和curl命令的区别介绍:使用webmagic抓取网站时，如果没有设置User-Agent，会返回空(还是200) 但是当我在终端中直接执行curl http://some.site.com时，我可以正常返回内容。 但是在卷曲中