Forskare från UC Santa Cruz, UC Davis, LuxiTech och Soochow University har utvecklat en ny metod för att köra AI-språkmodeller mer effektivt genom att eliminera matrismultiplikation. Denna innovation kan potentiellt minska AI-systemens miljöpåverkan och driftskostnader, samt göra stora språkmodeller mer tillgängliga för resursbegränsad hårdvara som smartphones. De har skapat en 2,7 miljarder parameterstor modell utan matrismultiplikation som uppvisar liknande prestanda som konventionella LLM:er, och demonstrerat en 1,3 miljarder parameterstor modell som körs på 13 watt med en FPGA. Även om tekniken ännu inte är granskad, utmanar den det rådande paradigmet att matrismultiplikation är oumbärlig för högpresterande språkmodeller. Skalningslagar tyder på att den matrismultiplikationsfria modellen kan överträffa traditionella LLM:er vid mycket stora skalor, men har ännu inte testats på modeller med över 100 miljarder parametrar.