A/B testing and the historic lift paradox [redacted]

Artikeln presenterar initialt en paradox inom A/B-testning gällande användningen av historisk "före"-data för att beräkna "effektlyft", vilket kan leda till motstridiga slutsatser jämfört med traditionell experimentell lyft. Författaren erkänner att den ursprungliga förklaringen i inlägget var felaktig och har redigerats bort efter att ha mottagit kommentarer på Hacker News. CUPED (Controlled-experiment Using Pre-experiment Data) introduceras som en korrekt metod för att justera utvärderingsmått med hjälp av historisk data. CUPED minskar variansen i A/B-tester och leder till lägre p-värden genom att utnyttja korrelationer mellan "före"- och "efter"-data. Artikeln belyser de betydande affärsmässiga konsekvenserna av att korrekt tolka A/B-testresultat, då felaktiga metoder kan leda till helt motsatta beslut om en behandlings effektivitet.