Neuralne mreže mogu da modeluju praktično bilo kakvu matematičku funkciju, pa tako i verovatnoće da reč dođe posle prethodnih reči, rečenica posle prethodne rečenice, i slično (što je osnov jezičkih modela).
Ako imaš veliku kompleksnu neuronsku mrežu (što imaju) i ogromne količine teksta da je obučiš (što isto imaju), samo nebo je granica (dobro, ne baš, ali to su ukratko razlozi zašto ti modeli vraški dobro rade).
Zašto nije bilo moguće ranije? Zato što kompjuteri nisu bili dovoljno moćni da izađu na kraj sa neuralnim mrežama koje modeluju ljudski jezik (jer em ima mnogo parametara da se nauči, em treba mnogo podataka). To se promenilo negde 2015, i odonda se prave sve jače veće i bolje mreže i hrane sa sve više tekstova, i sad imamo sve ovo što imamo.
E sad, ako jezički modeli zaista zavladaju svetom onda je svet bio preglup i tako mu i treba.