"crawl" är ett effektivt och parallellt verktyg designat för att genomsöka och förstå webbplatser, vilket separerar datainsamling från analys för ökad effektivitet. Verktyget adresserar begränsningar hos populära crawlers genom att erbjuda flexibel dataanalys via BigQuery, där data exporteras i ett newline-delimited JSON-format. Det bevarar komplexa datastrukturer, såsom en-till-många-relationer, inom en enda rad per sida, vilket möjliggör djupare analys av webbplatsens interna länkar. "crawl" är byggt med Go och kan installeras från källkod, med kommandon för att hantera URL-listor, generera BigQuery-scheman, hantera sitemaps och utföra spindelgenomsökningar. Konfigurationen tillåter detaljerad kontroll över genomsökningens omfattning, inklusive start-URL:er, inkludering/exkludering via reguljära uttryck, maximalt djup och hantering av användaragenter.