Anthropic har introducerat en teknik kallad "Contextual Retrieval" för att förbättra RAG-system genom att berika dokumentbitar med kontext vid indexering. Tekniken syftar till att lösa problemet med att generiska textbitar saknar specifik information (t.ex. företag eller tidsperiod), vilket gör dem svåra att matcha med användarfrågor. Varje textbit expanderas med hjälp av en LLM (som Claude 3 Haiku) för att inkludera relevant kontext från hela dokumentet, vilket förbättrar sökresultaten. Kostnaden för att generera dessa kontextualiserade bitar minskas avsevärt genom Anthropic's kontextcache-funktion. Den föreslagna lösningen kombinerar flera tekniker, inklusive cosinuslikhet, BM25-indexering, Voyage AI-inbäddningar och omrankning med Cohere.