Crawl Budget是搜索引擎优化的一个关键部分，但往往被会忽视。你的网站可能有全互联网最优质的内容，精心优化了网站链接，网站图片，网站速度，一系列我们在网站优化中会做的事情，但如果你不了解搜索引擎的抓取预算，很可能各大搜索引擎的机器人无法完全抓取你整个网站，这也就失去了让最重要的核心页面有排名的机会。
什么是Crawler？
crawler其实指的就是我们常常说到的爬虫，机器人或蜘蛛。所有的搜索引擎都有各自的爬虫，它们在网络上浏览并分析它们遇到的不同网站，以创建一个包含尽可能多信息的数据库，方便之后发给它们的老板（搜索引擎），让它们出现在搜索页（serps）上。
什么是Crawl Budget？
Crawl Budget，也叫抓取预算或者搜索预算，就是我们刚刚提到的crawler小蜘蛛在一段特定时间内对你的网页发出的请求数量，也是搜索引擎在你的网站上用来进行爬取的时间。你的网站权威度、发布频率、网站速度和一些其他元素，像网站地图、链接等，在你的网站抓取预算中都分别扮演着不同的重要角色。
这个过程其实是可以做优化的，你可以让机器人优先访问你最感兴趣的页面。Google 站长 Search Console 可以查看机器人正在跟踪多少页面。需要去到“设置” > “抓取统计”，在那里你可以找到关于谷歌平均抓取页面数量的初始信息。
怎么知道自己网站的抓取预算？
想要了解我们网站的抓取预算那么首先肯定是要知道搜索引擎的爬虫访问了网站的哪些区域以及访问频率，了解这个访问过程最好的方法就是查看存储在服务器上的日志，我们可以使用Screaming Frog Log Analyser日志分析器来帮助我们完成这个分析。
通过这个方法我们可以知道：
- 搜索引擎机器人访问了哪些地方和哪没有访问。
- 它的访问频率是多少。
- 它最常访问的页面或区域。
- 是否存在3xx（重点向）、4xx和5xx（报错）的响应代码。
有了这些数据，你就可以对机器人的行为有一个大概的了解。在这个基础之上开始更好地优化抓取预算。
有个良好的抓取预算很重要？
当然重要，对于一个小网站还说其实还好，大网站是需要合理分配这个资源的，不然只会白白浪费。抓取预算越受控制，机器人就会越频繁地访问你的网站，花更多时间来进行抓取，从而提升在搜索结果页面（SERP）中的排名。
Crawl Budget 过低的影响
你的抓取预算将决定你网站的哪些内容被抓取，过低可能会让你的网站面临以下几个问题：
- 你的内容可能无法排名，因为谷歌压根都不知道它的存在。
- 未被索引的内容也会增加网站的规模。如果抓取预算较低那么对于某些网站区域来说，与搜索引擎的距离将会增加，导致搜索引擎到该页面不是那么的轻松。
- 如果搜索引擎花很长时间才能抓取和识别你的内容，当某些人在你之前复制并索引它时，可能会认定对方的内容是原创的，而将你的内容视为拷贝。
- 可能需要很长时间才能捕捉到我们在网站上做出的任何SEO On Page的变化，这反过来又延迟了我们的每一次变化在网站上得到体现的时间。
怎么优化抓取预算？
以下是一些常用来优化Crawl Budget的方法：
1. 减少301重定向
控制重定向的数量很重要，因为过多的重定向会浪费过多的机器人时间，不停在链接之间跳转，浪费宝贵的抓取预算，也同时意味着搜索引擎浪费了时间到达正确的页面。重定向要直接指向最终的URL，不要通过多次重定向。
2. 修复404死链接
确保网站上没有无用的404链接非常重要，除了影响用户体验还会让搜索引擎爬虫很难浏览网站。如果爬虫无法访问某些页面，就不会对其进行索引。定期检查所有链接以确保是否一切正常，你可以使用Google Search Console和Screaming Frog等工具进行检查。
3. 网站速度
优化网页速度是提高抓取预算的一个非常重要的因素。它不仅是一个重要的排名因素，还决定了搜索引擎是否能看到网站中的重要页面。网站加载得越快，爬虫就有更多时间抓取你想要的重要页面。除了增加被抓取的页面数量外，提高速度还能提升用户在网站上的体验。
4. Robots.txt文件
robots.txt文件是爬虫第一次爬取网页时查看的地方之一。你可以使用它来引导搜索引擎到站点地图sitemap.xml，这样可以使爬虫更容易地对整个网站进行索引。
5. 少即是多
许多人会创建大量内容，但实际上可能这些内容并没有什么用处，或者永远不会被排名，他们认为大量内容可以提高排名，但实际上可能会产生相反的效果。索引了你网站的100,000个页面并不一定会有1,000个页面带来更多的访问量。
这里最好的做法是指牵引会用户有用的内容，我在之前的Thin content单薄内容也说过，没什么用的页面使用 noindex ，nofollow标签，并在robots.txt文件中进行阻止。
如何提升抓取预算？
1. 频繁更新内容
持续输出更新网站高质量内容会使谷歌花费更少的时间来重新访问你的链接，它会考虑分配给你网站更多的抓取预算。
2. 添加新内容
添加新内容对抓取预算的影响类似于刚刚的频繁更新内容。你不断添加新内容，并且有一个良好的网站结构，搜索引擎能更轻松访问它，也会提升访问你内容的频率。
3. 提高网站的权威性
提高网站的权威性主要取决于外部引用指向你网站的链接数量增加（或质量的提高）。这对于谷歌来说是另一个“积极”的信号。
