Google tar inte bort URL:er som exkluderas av robots.txt omedelbart efter att filen uppdaterats. Borttagningen sker först efter att Google har bearbetat robots.txt-filen OCH därefter individuellt bearbetat varje specifik URL som påverkas. Processen för att ta bort URL:er kan variera i hastighet, från snabb till att ta veckor eller till och med månader för vissa URL:er. John Mueller från Google förtydligade denna process, liknande hur andra rankningsalgoritmer fungerar med gradvisa uppdateringar.