抓取和索引:它们是什么以及它们在 SEO 中的重要性
SEO 中的 “抓取和索引” 这些术语你如果是个小白是不是感觉有点听不懂?这可以说是每个页面要出现在搜索引擎上的必经之路。互联网上的信息量是不可想象的庞大,并且不断扩张。你有没有想过搜索引擎是如何在短短几秒钟为你提供寻找内容的?
每个网页都需要搜索引擎进行一段时间的分析,这段时间将取决于其质量。
其实我们要是细分的话,不止这两步,而是: 爬行,抓取,索引和收录,爬行和收录常常会被忽略掉。
什么是爬行?
在 SEO 领域,爬行就像是搜索引擎的小探险家,穿梭在互联网的密林中。这个过程就是搜索引擎的小机器人(蜘蛛或爬虫)在网页之间游走,搜寻新的领地和了解变化。
什么是抓取?
抓取小机器人(蜘蛛或爬虫)搜索到的链接并保存到数据库。
爬行和抓取通常都是叫抓取(crawling)
什么是牵引?
索引指的是包含在谷歌或其他搜索引擎列表中的网页。在用户进行特定搜索时,它将出现在搜索引擎结果页面(SERPs)中。
什么是收录?
和牵引没什么区别,通常我们的网站出现在了搜索页面上就叫被成功收录了。
爬行和抓取通常都是叫抓取(index)
抓取和收录的区别
爬行负责测量搜索引擎找到特定网页内容的能力。如果网页的爬行没有问题,就很容易访问你的内容。如果存在问题,或者发现了损坏的链接和没有链接的页面,搜索引擎可能无法找到该页面。
另一方面,索引负责确定搜索引擎是否有能力将特定网页添加到其数据库中,以便对其进行分类,然后供其他有意图搜索的用户查看。尽管Google可以爬行你的整个网站,但并不需要对所有页面进行索引。
抓取和收录在 SEO 的重要性
一旦页面被爬行和索引,它们就准备好在搜索结果中显示给用户了。谷歌使用一种算法,根据页面的相关性从高到低对其进行排序,考虑到所使用的关键字和内容的质量。
如果一个链接无法被爬行,即没有外部或内部链接指向它,它将无法被搜索引擎找到,用户也无法看到。