webmagic java爬虫使用selenium模拟谷歌浏览器,获取了翻页的每页的网址链接传到process,运行时为什么还会打开每页的网址?

麦螺2022-10-02  17

Webmagic java crawler使用selenium模拟Google浏览器,获取每一个翻页的页面的URL链接并传输给process。为什么它会在运行时打开每个页面的URL?Webmagic java crawler使用selenium模拟Google浏览器,获取每一个翻页的页面的URL链接并传输给process。为什么它会在运行时打开每个页面的URL?简介:如图,你要抓取的网站信息已经获取,也可以在过程中获取。 但是addTargetRequests的这些URL会再次打开。你怎么能不打开这些单独的网址呢?解决方法:
转载请注明原文地址:https://juke.outofmemory.cn/read/1876520.html

最新回复(0)