Google slutar genomsöka en webbplats om den inte kan komma åt dess robots.txt-fil, förutsatt att filen existerar och Google känner till den. Det är acceptabelt att inte ha en robots.txt-fil alls, men om en sådan finns och är oåtkomlig, stoppas genomsökningen för att förhindra indexering av blockerade sidor. Enligt Googles Eric Kuan, om problemet med att genomsöka robots.txt är frekvent, bör man kontakta sin värd- eller tjänsteleverantör. robots.txt-filen måste returnera antingen en 200 (OK) eller 404 (Not Found) svarskod; andra koder indikerar ett problem.