gpt-neo är en implementering av GPT-2- och GPT-3-liknande modeller som använder mesh-tensorflow-biblioteket. Utvecklingen av gpt-neo avslutades i augusti 2021, och projektet är nu arkiverat, med fokus flyttat till den GPU-specifika efterföljaren gpt-neox. Artikeln tillhandahåller förtränade gpt-neo-modeller (1.3b och 2.7b parametrar) tränade på "the Pile"-datasetet, tillgängliga för nedladdning. Den beskriver hur man sätter upp, tränar och genererar text med gpt-neo på både TPU:er och GPU:er. Prestandautvärderingar av gpt-neo-modeller jämförs med GPT-2 och GPT-3 på olika språkliga och vetenskapliga resonemangsbetingelser.