sitemap的 基础问题，不太忙的大神劳烦看一眼。

sitemap的基本问题，不太忙的大神请看一下。 sitemap的基本问题，不太忙的大神请看一下。 简介:我下载了sitemapx。如果我今天做了一批sitemap网站，如何保证明天再抓取的时候不会抓取到重复的网站？我还没发现小爬虫什么的有什么问题。爬行日志里会有记录吗？