爬虫程序加载指定url页面问题

爬虫加载指定的url页面的问题。爬虫加载指定的url页面的问题。导读:请问大神，有什么办法可以让自写爬虫加载url页面更高效，因为每次运行都要加载上万个链接或者子页面。这一块是浪费时间。谁有好主意？大神会给你指路的。 解决方案:多线程、并发、缓存