Apple har introducerat en ny förutsägande textfunktion i kommande versioner av iOS och macOS, driven av en Transformer-baserad språkmodell. Artikelförfattaren undersökte modellens funktion, arkitektur och placering, och fann att den troligen är baserad på en modifierad GPT-2-arkitektur med cirka 34 miljoner parametrar. Modellen är optimerad för snabb prestanda på enheten, vilket förklarar dess relativt lilla storlek jämfört med större språkmodeller. Forskningen avslöjade att modellen använder en unik tokenizer med 15 000 tokens, inklusive specialtokens för emojis och sammandragningar, vilket indikerar en domänspecifik träning.