privateGPT är ett AI-projekt som möjliggör privat interaktion med dokument med hjälp av stora språkmodeller (LLMs), även offline, med 100% datasekretess. Projektet tillhandahåller ett API med både högnivåfunktioner för RAG (Retrieval Augmented Generation) och lågnivåfunktioner för avancerade användare, samt en Gradio UI-klient. privateGPT utvecklades för att möta integritetsbekymmer inom datakänsliga branscher som hälsovård och juridik, där data inte får lämna användarens kontroll. zylon är en relaterad, företagsklar AI-arbetsyta från samma team, designad för lokal eller privat molndistribution. Projektet är byggt med FastAPI och följer OpenAI:s API-schema, baserat på LlamaIndex för RAG-pipelinen, och är designat för enkel utbyggnad.