搜索引擎的基本原理

搜索引擎的工作原理包括网页搜索、信息预处理和建立索引三个过程。

细化分为:抓取-抓取-处理抓取信息-建立索引-呈现排名

一:爬行

爬取的目的:建立一个要爬取的列表

谷歌爬虫:ddos百度爬虫:蜘蛛

1。发现:

新网站

被动等待:设置Robots.txt文件，放在服务器上等待爬虫过来爬。(谷歌几周，百度一个月到几个月。)

主动爬虫:写带链接的软文，花钱上高质量高权重的网站，利用高权重的博客，在高质量的论坛发外链。

新内容

可以把首页放在首页，否则尽量放在顶栏(总结:尽量放在权重高的位置)

横幅图片不如幻灯片，幻灯片不如文字。(概要:文字优先，图片写alt属性)

2、爬虫分析:

查看:网站日志分析。站长的工具可以在日志文件中查看:查看抓取频率。太高的话，服务器会崩溃。

问题及解决方法:网站访问量突然为0

先上网站查一下有没有被处罚

分析日志爬虫并记录IP(蜘蛛，用户)

统计代码有问题

3。爬行策略:

深度优先:一楼栏目到最后(1-1000万页)

广度优先:同行专栏单独收集(100万页)

混合:混合使用两者(5000-1亿页)

4。爬虫抢障碍物:

txt文件设置不正确。服务器本身的问题(频繁出现动态IP，服务器不稳定)就是URL太长，搜索引擎爬虫懒得直接抓取。陷阱

二:抢

1。网页本身必须符合W3C标准

头信息:状态码:200(正常访问)，404(死链)，301(永久重定向)，302(小心临时重定向)，403(禁止访问)，5xx(数据库问题)。编码:建议使用utf-8。gb2312在国外打开是乱码。

2。TDK关键词:

标题:努力走到前面。我们希望爬虫在进入某个页面时能看到我们的主要内容。

长度:25个汉字足够写33篇汉字的文章。两个英文字符算作一个单词

位置:关键字位置在 之前

次数:不要重复太多(栏目可以强调关键词，最重要的放在最前面)

可读性:考虑用户体验

独创性:蜘蛛喜欢新鲜的东西

关键词:首页5-7个，一级栏目5-6个，二级栏目4-5个，列表页3-4个，专题2-3个。说明:(栏目必须围绕关键词写)

作用:提高点击率

密度:3-8%

长度:80个汉字

原创:有利于包容

可读性:用户体验考虑事项

行动号召:活动和促销等页面

3。公共部分:

搜索引擎不会抓取重复的部分(爬虫更喜欢新鲜原创的东西，重复的内容不利于抓取)

4。导航:

一级导航，二级导航，左侧导航，SEO导航(标签)，面包屑导航(不要用JS实现)，

5。广告:

横幅图片不如幻灯片，幻灯片不如文字(总结:文字优先，图片写alt属性)。文字有利于爬虫抓取。

6。正文:

关键词:次数适当，密度3-8%适中，位置高(可通过金华站长工具找到)

lt；H1 gt；标签:唯一性，整个页面第一重要。包括关键字，关键字越多越好

lt；H2 gt；其他属性可以在 中添加

lt;altgt;属性：只能用于lt;imggt;，意在告诉蜘蛛图片的解释 lt；alt gt属性:只能用于< img gt，意在告诉蜘蛛图片的解释

lt；title gt属性:在链接中添加描述性文字，可以为用户提供更清晰的含义。锚文本:(凡事讲究相关性)锚文本一定要有相关关键词，而且要面对面相关

III:处理抓取结果(预处理)

爬行后，爬虫将其压缩成数据包，返回给数据库

相关性:由于百度算法的上下文分析+语义分析，网站上不能出现无关内容，否则会丢弃搜索引擎的权威性:各种奖项，在线评价，申请百度客服增加信任度。

注:权威性不足的影响:对于同一篇文章，由于信任度的高低，有可能文章本身被转载发表了，而自己的却在别人的网站后面。
去重:一个链接不能有多个页面，同一个关键词不能指向不同的链接，不同的链接和同一个关键词不能出现在同一个页面，

四:建立索引

搜索引擎的索引是逆向建立的

主页网址76分

一级栏目网址80分

二级栏目网址96分

专题页面网址70分

产品网址68分

百度分词:从前到后，从后到前，统计，第三步。在处理捕获的结果时，爬虫将捕获的内容压缩成数据包，并将它们返回给数据库。这时，搜索引擎的索引数据库就建成了。当用户搜索一个词(长尾词或短尾词)时，搜索引擎会根据百度分词规则，首先显示搜索词与索引数据库完全一致的词。

原文链接来源:http://www.longseo.com/seojichu/600.html