我们毕业设计要做一个Web搜索引擎，我该使用什么样的爬虫

我们毕业设计想做一个网页搜索引擎，我应该用什么样的爬虫？我应该用什么样的爬虫？简介:我们毕业设计想做一个网页搜索引擎，采用垂直搜索策略，我该用什么样的爬虫？ 老师让我们自学网红蜘蛛，但是我搜了百度，没有关于它的搜索结果。 我们要用。Net，所以请问我们该怎么办。