爬虫通常指网络爬虫，是按照一定规则自动抓取万维网信息的程序或脚本。
由于python的脚本特性，它很容易配置，对字符的处理也非常灵活。另外，python有丰富的web抓取模块，所以两者经常联系在一起。
在进入文章之前，我们首先需要知道什么是爬行动物。
爬虫，即网络爬虫，可以理解为在互联网上爬行的蜘蛛。互联网就像一张大网，爬虫就是在这张网上爬来爬去的蜘蛛。如果它遇到自己的猎物(需要的资源)，就会去抢。
比如它爬一个网页，它在这个网页里找到一条路，实际上是这个网页的超链接，那么它就可以爬到另一个网页去获取数据。
如果不太好理解，其实可以通过下图来理解:
由于其脚本特性，python易于配置，对字符的处理也非常灵活。另外，python有丰富的web抓取模块，所以两者经常联系在一起。【/br/】Python爬虫开发工程师，从网站的某个页面(通常是首页)开始，读取网页的内容，找到网页中的其他链接地址，然后通过这些链接地址搜索下一个网页，如此循环，直到爬完这个网站的所有网页。
如果把整个互联网看成一个网站，那么网络蜘蛛就可以利用这个原理抓取互联网上的所有网页。
Python作为一种编程语言，是纯自由软件，因其简洁明了的语法和强制使用空白字符缩进语句而受到程序员的喜爱。
举个例子:完成一个任务，C语言需要写1000行代码，java需要写100行，python只需要写20行代码。
如果用python来完成编程任务，编写的代码会更少，代码会简洁、短小、可读性强。一个团队在开发的时候，看别人的代码会更快，开发效率会更高，让工作更有效率。
这是一种非常适合开发网络爬虫的编程语言，而且与其他静态编程语言相比，Python抓取web文档的界面更加简洁；与其他动态脚本语言相比，Python的urllib2包提供了相对完整的访问web文档的API。
此外，python中还有优秀的第三方包，可以高效抓取网页，用极短的代码完成网页的标签过滤功能。
Python爬虫的架构如下:
1.url管理器:管理待抓取的url集合和已抓取的url集合，并将待抓取的URL发送给网页下载器；
2.网页下载器:抓取url对应的网页，存储为字符串，并发送给网页解析器；
3.Web解析器:解析出有价值的数据，存储起来，给url管理器补充URL。
Python的工作流程如下:
(Python crawler通过URL manager判断URL是否需要抓取，如果需要抓取，通过scheduler传给下载器，下载URL内容，通过scheduler传给解析器，解析URL内容，通过scheduler把值数据和新的URL列表传给应用，输出值信息。
)
Python是一种非常适合开发网络爬虫的编程语言。它提供了urllib、re、json、pyquery等模块。同时还有Scrapy框架、PySpider爬虫系统等很多成型的框架。也非常简洁方便，是网络爬虫的首选编程语言！
