Artikeln beskriver en metod för att förbättra relationsextraktion genom att finjustera Llama3-8B med en syntetisk dataset skapad av den större Llama3-70B-modellen. Relationsextraktion är en grundläggande uppgift inom naturlig språkbehandling som syftar till att identifiera kopplingar mellan namngivna entiteter, där stora språkmodeller (LLM) nu spelar en allt viktigare roll. Llama3, Meta:s senaste generativa AI-modell, presenteras i storlekarna 8B och 70B, där 70B-varianten används som en "lärare" för att generera högkvalitativ träningsdata. Den syntetiska dataseten skapas med hjälp av Databricks-dolly-15k och groqCloud [[API]], där Llama3-70B instrueras att extrahera entiteter och relationer i ett specifikt trippelformat. Projektet implementeras i en Google Colab Pro-miljö med en A100 GPU, och involverar installation av relevanta bibliotek som groq, transformers och peft.