2

Comment doit-on traduire précisément le descriptif « large-scale unsupervised transformer-based language model » (dans le domaine de l'intelligence artificielle), en portant une attention particulière à l'emploi des prépositions et à la séquence, et le générateur automatique de texte constitue-t-il une bonne approximation pour le profane ?

Ma tentative incomplète :

Modèle linguistique de grande puissance par apprentissage non supervisé adossé à la/au [transformer].

3

J'aurais traduit par

Un modèle de langue reposant sur un réseau Transfomer de grande taille

Étant donné que

  • Le teme unsupervised est contestable pour un modèle de langue, qui peut aussi être vu comme du supervisé ou du semi-supervisé
  • Transformer est plus ou moins un nom propre, je ne pense pas que ce soit une bonne idée de le traduire. On peut aussi simplifier et remplacer « réseau Transformer » par « réseau de neurones artificiels » qui sera plus clair pour les profanes.
  • Les composés de ce type sont moins naturels en français (et même en anglais je trouve ça lourd), je pense qu'il vaut mieux mettre ce description dans une phrase à part « Le modèle dont il s'agit est… » et ensuite y faire référence par son petit nom s'il en a un (au hasard, BERT ou GPT-2) ou simplement par « [le/ce] modèle »

Sinon, oui, « générateur automatique de texte » me paraît être un bonne description informelle.

  • Il y avait plusieurs liens donc il était facile de le manquer mais je parle du GPT-2 de OpenAI. Ce n'est pas mon domaine mais c'est leur blog qui dit we've trained a large-scale unsupervised language model et plus loin ils ajoutent GPT-2 is a large transformer-based language model with 1.5 billion parameters, trained on a dataset[1] of 8 million web pages etc. J'ai ajouté transformer-based à la première phrase, notez qu'ils n'ont pas employé la majuscule. S'agit-il de transformée en maths ? Je vous laisse le soin d'analyser... – user3177 Feb 17 at 4:07
  • Aussi en contexte le large-scale est-ce la taille ou la puissance. Votre formulation me laisse croire que vous pensez que c'est le nombre de paramètres ou le dataset qui en font la taille ou le réseau dont vous parlez mais pas le modèle lui-même. Je suis d'accord que l'entassement peut être lourd... – user3177 Feb 17 at 4:11
  • 1
    On rentre dans des discussions techniques, mais comme les modèles Transformers sont construits en empilant des blocs identiques, avec donc une relation linéaire entre le nombre de blocs et le nombre de paramètres. Si on parle bien du GPT-2, ce qui fait le “large-scale” c'est ça, plus que la taile du dataset (qui est plus petit que le Google Books utilisé pour BERT) ou la nature du modèle (qui n'est pas intrinsèquement large, un Transformer à deux blocs par exemple ne serait pas si grand, celui-ci en a beaucoup plus) – Evpok Feb 17 at 9:47
  • Merci des précisions, mon objectif consiste uniquement à vérifier que votre propos soit applicable au modèle en question ; je ne dispose pas de l'expertise pour comparer les modèles ni n'ai d'appréciation de leur valeur relative etc. mais je suis curieux. J'ai pris connaissance du modèle à partir d'un article (La Presse) qui vulgarise le tout et ensuite j'ai trouvé le blogue etc. – user3177 Feb 17 at 15:30

Your Answer

By clicking “Post Your Answer”, you agree to our terms of service, privacy policy and cookie policy