Google har publicerat en ny algoritm, SMITH, som påstås överträffa BERT i att förstå långa sökfrågor och dokument. SMITH-algoritmen kan förstå passager inom dokument, liknande hur BERT förstår ord och meningar, vilket gör den bättre på att hantera längre texter. Till skillnad från BERT, som är begränsad till kortare texter på grund av beräkningskomplexitet, är SMITH designad för att hantera och matcha långa dokument effektivt, med en ökad maximal inmatningstextlängd från 512 till 2048. SMITH använder en förträningsmetod som maskerar både ord och block av meningar för att lära sig relationer mellan dessa block, vilket förbättrar förståelsen för dokumentets struktur. Det är ännu spekulativt om Google aktivt använder SMITH-algoritmen, men den ses som ett komplement till BERT för uppgifter som kräver förståelse av långa dokument.