token
Examples
The blockchain records the owner’s status as soon as the token transfer ends.
La blockchain enregistre le statut du propriétaire dès que le transfert du jeton est terminé.
The [CLS] token is often called the sentence embedding because it represents the whole information in a sentence.
Le jeton [CLS] est souvent appelé plongement de phrase, car il représente l’ensemble des informations d’une phrase.
During text generation, the next token or syllable is chosen from an ordered list of likely continuations.
Pendant la génération de texte, on choisit le prochain jeton ou la prochaine syllabe dans une liste ordonnée de suites probables.
Autoencoders similar to BERT receive an input text and produce a contextual embedding for each token.
Les autoencodeurs similaires à BERT reçoivent un texte en entrée et produisent une représentation vectorielle contextuelle pour chaque jeton.
Input sequences of variable length are padded to the maximal length with a special padding token.
Les séquences d’entrée de longueur variable sont complétées jusqu’à la longueur maximale au moyen d’un jeton de remplissage spécial.
Word annotation marks each word or token of the input text with a specific property.
L’annotation des mots associe une propriété précise à chaque mot ou jeton du texte d’entrée.
autoregressive language models aim to predict the probability of the next token in a text given the previous tokens.
Les modèles de langage autorégressifs visent à prédire la probabilité du jeton suivant dans un texte à partir des jetons précédents.
Token-based self-similarity is the mean cosine similarity of the same token found in different sentences.
L’autosimilarité fondée sur les jetons est la similarité cosinus moyenne d’un même jeton présent dans différentes phrases.
Random sampling selects the next token according to the predicted probabilities.
L’échantillonnage aléatoire sélectionne le jeton suivant en fonction des probabilités prédites.
GPT operates from left to right when predicting the next token.
GPT fonctionne de gauche à droite lorsqu’il prédit le jeton suivant.
Greedy decoding simply picks the most likely token with the highest probability at each decoding step until the end-of-sentence token is generated.
Le décodage glouton choisit simplement le jeton le plus probable à chaque étape, jusqu’à ce que le jeton de fin de phrase soit généré.
In flat named entity recognition each token corresponds to at most one named entity.
Dans la reconnaissance plate des entités nommées, chaque jeton correspond au plus à une entité nommée.