À la découverte du Transformer
Le traitement automatique du language naturel est, aujourd’hui, essentiellement dominé par les modèles séquence à séquence (ou seq2seq). Effectivement, ce type de modèle est adapté à la langue et à plusieurs tâches de NLP classiques telles que la traduction de texte. Parmi les modèles seq2seq qui ont vu le jour ces dernières années, s’il y …