如何对爬取对象取重？

如何对爬行的物体进行称重？如何对爬行的物体进行称重？简介:如何称量爬行的物体？每次启动爬虫，都会从目标页面抓取链接。如何保证每次只抓取最新的链接，也就是不重复抓取？解决方法:减肥的方法有很多种，取决于你爬的链接数。如果有很多，可以试试bloom filter。 lt/br gt；已爬网网页