jeton textuel

· modifiée le 6 September 2024 · fiche FranceTerme

Désignations

français
  • jeton textuel FR

    1. La segmentation en jetons textuels est utilisée aussi bien dans la phase d’apprentissage automatique que dans la phase de traitement d’une instruction générative. 2. Le nombre de jetons textuels sert à mesurer la taille d’un grand modèle de langage ; il permet aussi d’estimer et de facturer le coût de fonctionnement des grands modèles de langage commerciaux.

anglais
  • text token
  • token

Codes : pays ou zone où la désignation a cours (CH, FR, DE, EU = Union européenne, INT = usage international). Une désignation barrée est déconseillée.

Définitions

français
Donnée élémentaire d’un grand modèle de langage, qui est constituée d’une suite de caractères obtenue par la segmentation automatique d’un texte.

Journal officiel

Classement

Collections

Domaines

  • Informatique

API

curl -H "Authorization: Token VOTRE_CLE" \
  "https://opendata.altius-group.ch/language/terminology/api/v1/concepts/franceterme-INFO1004/"

Données : FranceTerme, Ministère de la Culture, Délégation générale à la langue française. Licence Ouverte (Etalab).

Buy us a coffee Explore the data