São uma categoria de modelos de linguagem baseados em aprendizado profundo que são pré-treinados em enormes quantidades de dados linguísticos para aprender padrões e estruturas da língua. Esses modelos podem ser usados em várias tarefas de processamento de linguagem natural, como geração de texto, classificação de sentimento e tradução automática.