Artikeln, baserad på en presentation vid GIDS 2024, introducerar hur vektordatabaser och Retrieval Augmented Generation (RAG) kan användas för att övervinna begränsningar hos stora språkmodeller (LLM) i generativa AI-applikationer. LLM har begränsningar som "Knowledge cut-off", Hallucinationer och bristande tillgång till domänspecifik data, vilket gör dem otillräckliga för affärsspecifika behov utan ytterligare anpassning. Vektordatabaser lagrar numeriska representationer (vektorer) av text, vilka fångar semantisk mening och möjliggör kontextbaserad sökning, och kan implementeras i befintliga databaser eller specialiserade vektordatabaser. RAG-tekniken involverar att dela upp domänspecifik data, omvandla den till vektorer, lagra dem i en vektordatabas, och sedan hämta relevant kontext baserat på användarfrågor för att förstärka LLM-prompten och förbättra svarens noggrannhet. Amazon Bedrock erbjuder en hanterad lösning för RAG genom "Knowledge Bases", som automatiserar hela arbetsflödet från datainmatning till hämtning och promptförstärkning, och exponerar detta via API:er för enkel applikationsintegration.