Preventing Site Scraping

Artikeln beskriver metoder för att förhindra att webbplatsdata skrapas, efter att en klients unika information hittats på andra ställen. Författaren implementerade lösningar som att ladda sidnumrerad data via AJAX för att försvåra för skrapare som inte hanterar JavaScript. Andra strategier inkluderar att slumpmässigt ändra HTML-mallens utdata (t.ex. div-ID:n och klassnamn) för att bryta mönster som skrapare förlitar sig på. En "Honeypot"-metod föreslås där en dold länk till en förbjuden sida används för att identifiera och blockera illvilliga skrapare som ignorerar robots.txt. Att rendera mindre datafält som bilder dynamiskt och att undvika att förlita sig på user-agent för identifiering är ytterligare rekommendationer.