Alex Strick van Linschoten hävdar att hans finjusterade LLM-modeller överträffar OpenAI:s GPT-4 när det gäller strukturerad dataextraktion från pressmeddelanden. Utvärderingsprocessen var komplex och tidskrävande att implementera, vilket belyser de utmaningar och avvägningar som finjustering medför. Projektet är en del av en finjusteringskurs av Hamel Husain och Dan Becker på Maven, där man använder ett publikt dataset från Hugging Face Hub ('strickvl/isafpressreleases'). Artikeln beskriver den tekniska uppsättningen, inklusive laddning av dataset, användning av Pydantic för datavalidering och definition av olika händelsetyper, provinser och målgrupper för strukturerad extraktion. Huvudmåttet för utvärderingen är noggrannhet i att extrahera strukturerad data från pressmeddelanden.