word2vec, utvecklat 2013 av Mikolov et al. på Google, visade att ord kunde bäddas in i ett vektorrum där semantiska relationer, som "ordaritmetik" (t.ex. könsvinklar), uppstod trots att modellen inte tränats för det. Moderna LLM:er delar grundläggande principer med word2vec genom att bädda in tokens i vektorrum baserat på samförekomst och cosinusavstånd, men använder självuppmärksamhet (self-attention) i transformatorarkitekturen för att lära sig mer komplexa och förfinade representationer. Självuppmärksamhet ger transformatorer semantiskt kontinuerliga och interpolerande inbäddningsrum, liknande Hebbs inlärning i hjärnan, där korrelationsrelationer omvandlas till närhetsrelationer i vektorrummet. Till skillnad från word2vec:s enkla linjära transformationer, kan LLM:er med sin enorma representationskraft lagra godtyckligt komplexa "vektorprogram" som möjliggör avancerade funktioner som stilöverföring. LLM:er kan ses som kontinuerliga, interpolerande databaser som inte bara innehåller data utan primärt komplexa vektorprogram, där en prompt fungerar som en sökfråga för att aktivera dessa program.