Google har, via Gary Illyes, publicerat en bloggpost som förklarar vad "crawl budget" innebär för webbansvariga och Googlebot. "crawl budget" är främst relevant för mycket stora webbplatser och definieras som antalet URL:er Googlebot kan och vill genomsöka, vilket är en kombination av "crawl rate limit" och "crawl demand". Artikeln beskriver hur "crawl rate limit" skyddar servrar, hur "crawl demand" baseras på sidors popularitet och aktualitet, samt faktorer som påverkar "crawl budget" och vanliga frågor. Barry Schwartz, artikelns författare, är en framstående teknolog och redaktör inom SEO-branschen, med kopplingar till Search Engine Land, RustyBrick och Search Engine Roundtable.