Introducing Contextual Retrieval

AI-modeller behöver ofta tillgång till bakgrundskunskap för att vara användbara i specifika sammanhang, vilket vanligtvis hanteras med Retrieval-Augmented Generation (RAG). Traditionella RAG-lösningar har en begränsning då de ofta förlorar kontext när information delas upp i mindre bitar, vilket resulterar i misslyckad hämtning av relevant information. Artikeln introducerar "contextual retrieval", en ny metod som dramatiskt förbättrar RAG genom att lägga till chunkspecifik förklarande kontext till varje bit innan inbäddning och indexering (kontextuella inbäddningar och kontextuell BM25). Denna förbättrade metod kan minska antalet misslyckade hämtningar med 49%, och upp till 67% när den kombineras med reranking, vilket leder till betydande förbättringar i hämtningsnoggrannhet. För mindre kunskapsbaser kan hela informationen inkluderas direkt i prompten, en metod som blivit snabbare och mer kostnadseffektiv tack vare promptcaching för Claude.