问答社区

搜索引擎蜘蛛的工作原理是什么?

admin 分类:网站SEO优化

对于网站SEO优化人员来说,网站的收录,排名,流量是我们必追求的东西,然而前提的一个前提下,我们必须要让搜索引擎的蜘蛛来到我们的网站,否则网站的内容再有价值都是徒劳。

整个互联网如同一张大网形成,搜索引擎是通过这些一个一个的链接来抓取网站页面的,这种行为成为蜘蛛抓取,也可以说是网络爬虫,所谓的蜘蛛就是搜索引擎的一个自动抓取页面的程序软件,蜘蛛会不断的访问每一个页面的链接来完成将html代码数据存入自己的数据库,这是搜索引擎的第一个工作,第二个工作就是要通过搜索引擎的排名算法来完成页面的排名。

 

搜索引擎蜘蛛原理
搜索引擎蜘蛛原理

 

搜索引擎蜘蛛抓取原理

想要网站收录,那么第一件事就是去给更新网站内容,但第七城网络运营表示,有的时候你在这么更新原创内容搜索引擎蜘蛛就是不收录你的网站,这是什么原因呢?原因很简单,就是你不了解搜索引擎蜘蛛的爬行原理以及抓取原理,何谓搜索引擎蜘蛛抓取原理?

 

1)纵向抓取原理: 深度优先
当搜索引擎蜘蛛进入一个网站第一个入口之时,该蜘蛛就会顺着第一个链接一直深入的纵向一个一个的页面抓取,比如进入第一个,在进入下一个,再下下一个,直到进入到无法在进入,蜘蛛才会往返回去。

2)横向抓取原理:广度优先
当搜索引擎进入网站的第一个入口的时候,该蜘蛛不会顺着网站一个一个页面去抓取,而是一层一层的抓取,也就是说,只有搜索引擎把第一层所有的链接抓取完了,才会进入下一个链接去抓取其他页面。

回复

我来回复
  • 暂无回复内容