Google har uppdaterat sin öppen källkods robots.txt-parser på GitHub, en uppdatering som pushades av Gary Illyes. Den nya versionen introducerar förbättrade funktioner för att exportera parserinformation och har redan använts internt av Google, inklusive Google Search Console. Google släppte ursprungligen parsern 2019, vilken bygger på ett C++-bibliotek som har använts i Googles produktionssystem i över 20 år.