How to implement Q&A against your documentation with GPT3, embeddings and Datasette

Artikeln beskriver en metod för att låta Q&A-system använda specifik, aktuell dokumentation som indata för AI-modeller som GPT-3, istället för att enbart förlita sig på deras förtränade kunskap. Tekniken, kallad "semantic search answers pattern" eller "retrieval-augmented generation (RAG)", innebär att man söker relevant innehåll, konstruerar en prompt med detta innehåll och användarens fråga, och skickar det till GPT-3 API:et. Författaren implementerade detta mönster med Datasette, SQLite, anpassade SQL-funktioner och Python, och demonstrerade det mot sin blogg med 3 000 inlägg. En central del är semantisk sökning med OpenAI:s inbäddningsmodell, som omvandlar text till flerdimensionella vektorer (embeddings) för att hitta semantiskt liknande dokument, även utan exakta nyckelordsmatchningar. Artikeln ger exempel på frågor som systemet besvarat, och belyser dess förmåga att svara på frågor om nya verktyg (som shot-scraper) samt dess begränsningar (hallucinationer när kontext saknas).