Artikeln presenterar en steg-för-steg-guide, kallad "Critique Shadowing", för att effektivt använda stora språkmodeller (LLM) som bedömare för att utvärdera AI-system och driva affärsresultat. Den belyser vanliga problem inom AI-utvärdering, såsom för många ohanterliga mätvärden, godtyckliga poängsystem, ignorering av domänexperter och icke-validerade mätvärden. Ett avgörande första steg är att identifiera och involvera en huvudsaklig domänexpert för att fastställa utvärderingsstandarder, fånga outtalade förväntningar, säkerställa konsistens och skapa ägarskap. Processen innefattar att skapa en mångsidig datamängd, instruera domänexperten att göra enkla godkänd/icke-godkänd-bedömningar med kritik, iterativt bygga och optimera LLM-bedömaren samt utföra felanalys. Det verkliga värdet kommer inte bara från LLM-bedömaren i sig, utan från den iterativa processen att använda expertfeedback för att förfina AI-systemet och säkerställa att det uppfyller affärsmål.