请阐述什么是网络爬虫

1.爬虫技术，即web crawler(也叫web spider，web robot，在FOAF社区中间，更多的时候叫web chaser)，是一种按照一定的规则自动抓取万维网信息的程序或脚本。其他不常用的名称有蚂蚁、自动索引、模拟器或蠕虫。

2.根据系统结构和实现技术，网络爬虫大致可以分为以下几种类型:GeneralPurposeWebCrawler、FocusedWebCrawler、IncrementalWebCrawler和DeepWebCrawler。实际的网络爬虫系统通常是由几种爬虫技术结合起来实现的。