Artikeln presenterar en guide för att kvantisera stora språkmodeller (LLMs) till GGUF-format för lokal körning, med fokus på effektivitet. Kvantisering är en viktig teknik för att hantera den ökande komplexiteten och storleken hos språkmodeller. Genom att reducera precisionen från 32-bitars flyttal till exempelvis 8-bitars heltal (int8-kvantisering) minskar modellstorleken och beräkningshastigheten ökar markant. Moderna GPU:er och TPU:er är optimerade för int8-kvantisering, vilket ytterligare förbättrar prestandan.