Statistisk regression, särskilt minsta kvadratmetoden, upptäcktes oberoende av matematikerna Carl Friedrich Gauss och Adrien-Marie Legendre. En prioritetstvist uppstod då Legendre publicerade sina rön 1805, medan Gauss senare hävdade att han använt metoden sedan 1795. Trots tvisten tillskrivs Gauss ofta äran, och metoden, som han initialt ansåg "trivial", är nu central inom modern statistik och datavetenskap. Utvecklingen av metoden motiverades av behovet att förbättra havsnavigering och förstå himlakroppars banor. Metodens acceptans berodde på dess beräkningsmässiga enkelhet och fördelaktiga statistiska egenskaper, som antagandet om normalfördelade fel.