Gospider - Fast Web Spider Written In Go

gospider är en snabb webbspindel utvecklad i Go, designad för effektiv webbsökning och informationsinsamling. Verktyget kan analysera sitemap.xml och robots.txt, generera och verifiera länkar från JavaScript-filer, samt hitta subdomäner och AWS S3-hinkar. gospider integrerar med tredjepartskällor som Wayback Machine, Common Crawl, VirusTotal och AlienVault för att utöka sin URL-insamling. Det stöder parallell sökning av flera webbplatser och erbjuder omfattande konfigurationsmöjligheter via flaggor för bland annat proxy, användaragent, cookies, trådar och sökdjup.