Skip to main content

Entraîner le modèle de transformation de texte (Outils GeoAI)

Résumé

Entraîne un modèle de transformation de texte pour transformer, traduire ou résumer du texte.

En savoir plus sur le fonctionnement de la transformation de texte

Utilisation

  • Cet outil peut également être utilisé pour affiner un modèle entraîné existant.

  • Pour exécuter cet outil avec un GPU, définissez le paramètre d’environnement Type de processeur sur GPU. Si vous avez plusieurs GPU, spécifiez plutôt le paramètre d’environnement ID de GPU.

  • L’entrée de l’outil est une table ou une classe d’entités contenant des données d’entraînement, avec un champ de texte contenant le texte en entrée et un champ d’étiquette contenant le texte transformé.

  • Cet outil utilise des backbones basés sur des transformeurs pour entraîner des modèles de transformation de texte et prend en charge l’apprentissage en contexte avec des invites à l’aide du grand modèle de langage (LLM) Mistral. Pour installer le backbone Mistral, consultez la page ArcGIS Mistral Backbone.

  • Pour obtenir des informations sur les exigences relatives à l’exécution de cet outil ainsi que sur les problèmes qui peuvent survenir, reportez-vous à la rubrique Forum aux questions sur le Deep Learning.

Paramètres

Etiqueter Explication Type de données

Input Table (Table en entrée)

Table ou classe d’entités contenant un champ de texte qui comporte le texte en entrée pour le modèle et un champ d’étiquette qui comporte le texte transformé cible.

Feature Layer; Table View

Text Field (Champ de texte)

Champ de texte dans la table ou la classe d’entités en entrée qui contient le texte en entrée que le modèle doit transformer.

Field

Champ d’étiquette

Champ de texte dans la table ou la classe d’entités en entrée qui contient le texte transformé cible pour l’entraînement du modèle.

Field

Modèle en sortie

Emplacement du dossier en sortie où sera stocké le modèle entraîné.

Folder

Pretrained Model File (Fichier de modèle pré-entraîné)

(Facultatif)

Modèle pré-entraîné qui sera utilisé pour affiner le nouveau modèle. L’entrée peut être un fichier de définition de modèle Esri (.emd) ou un fichier de paquetage de Deep Learning (.dlpk).

Un modèle pré-entraîné qui effectue une tâche similaire peut être optimisé pour s’ajuster aux données d’entraînement. Le modèle pré-entraîné doit avoir été entraîné avec le même type de modèle et le même modèle d’architecture que ceux qui seront utilisés pour entraîner le nouveau modèle.

File

Max Epochs (Nombre maximal d’époques)

(Facultatif)

Nombre maximal d’époques pour lequel le modèle sera entraîné. Si le nombre maximal d’époques est égal à 1, le jeu de données est transmis une fois à travers le réseau neuronal. La valeur par défaut est 5.

Long

Model Backbon (Modèle de backbone)

(Facultatif)

Spécifie le réseau neuronal préconfiguré qui sera utilisé comme architecture pour l’entraînement du nouveau modèle.

  • t5-small—Le nouveau modèle sera entraîné avec le réseau neuronal T5. T5 est un framework unifié qui convertit chaque problème linguistique en un format texte à texte. t5-small est le petit modèle de T5.

  • t5-base—Le nouveau modèle sera entraîné avec le réseau neuronal T5. T5 est un framework unifié qui convertit chaque problème linguistique en un format texte à texte. t5-base est le modèle intermédiaire de T5.

  • t5-large—Le nouveau modèle sera entraîné avec le réseau neuronal T5. T5 est un framework unifié qui convertit chaque problème linguistique en un format texte à texte. t5-large est le grand modèle de T5.

  • mistral—Le modèle sera entraîné avec le grand modèle de langage (LLM) Mistral. Mistral est un transformateur avec décodeur uniquement qui utilise la technique Sliding Window Attention (fenêtre d’attention glissante), Grouped Query Attention (attention de requête groupée) et le tokenizer BPE (Byte-Pair Encoding) Byte-fallback. Pour installer le backbone Mistral, consultez la page ArcGIS Mistral Backbone.

String

Batch Size (Taille de lot)

(Facultatif)

Nombre d’échantillons d’entraînement qui seront traités en une fois La valeur par défaut est de 2.

L’augmentation de la taille du lot peut améliorer les performances de l’outil. Cependant, plus la taille augmente, plus la mémoire utilisée est importante. Si une erreur se produit en raison d’une mémoire insuffisante, utillisez une taille de lot plus petite.

Double

Arguments du modèle

(Facultatif)

Arguments supplémentaires utilisés pour initialiser le modèle. L’argument de modèle pris en charge est Sequence Length, qui permet de définir la longueur de séquence maximale des données d’entraînement à prendre en compte pour l’entraînement du modèle.

Colonnes de la table de valeurs :

  • Name—The name of the function argument.

  • Value—The value of the function argument.

Value Table

Learning Rate (Vitesse d’apprentissage)

(Facultatif)

Taille de l’intervalle indiquant dans quelle mesure les pondérations du modèle seront ajustées au cours du processus d’entraînement Si aucune valeur n’est spécifiée, une vitesse d’apprentissage optimale est déduite automatiquement.

Double

Validation Percentage (Pourcentage de validation)

(Facultatif)

Pourcentage d’échantillons d’entraînement qui sera utilisé pour valider le modèle. La valeur par défaut est 10 pour les modèles de backbone basés sur des transformeurs et 50 pour le backbone Mistral.

Double

Stop when model stops improving (Arrêter lorsque le modèle ne s’améliore plus)

(Facultatif)

Indique si l’entraînement du modèle s’arrête lorsque ce dernier cesse de s’améliorer ou se poursuit jusqu’à ce que la valeur du paramètre Max Epochs (Nombre maximal d’époques) soit atteinte.

  • Activé—L’entraînement du modèle s’arrête lorsque ce dernier cesse de s’améliorer, quelle que soit la valeur du paramètre Max Epochs (Nombre maximal d’époques). Il s’agit de l’option par défaut.

  • Décoché—L’entraînement du modèle se poursuit jusqu’à ce que la valeur du paramètre Max Epochs (Nombre maximal d’époques) soit atteinte.

Boolean

Make model backbone trainable (Adapter le backbone du modèle pour l’entraînement)

(Facultatif)

Indique si les couches de backbone dans le modèle pré-entraîné sont figées pour que la conception originale des pondérations et des biais soit conservée.

  • Activé—Les couches de backbone ne sont pas figées, et les pondérations et les biais de la valeur du paramètre Model Backbone (Backbone du modèle) peuvent être modifiés pour s’adapter aux échantillons d’entraînement. Le traitement est plus long, mais produit généralement de meilleurs résultats. Il s’agit de l’option par défaut.

  • Décoché—Les couches de backbone sont figées, et les pondérations et les biais prédéfinis de la valeur du paramètre Model Backbone (Backbone du modèle) restent inchangés pendant l’entraînement.

Boolean

Remove HTML Tags (Supprimer les balises HTML)

(Facultatif)

Indique si les balises HTML sont supprimées ou non du texte en entrée

  • Activé—Les balises HTML du texte en entrée seront supprimées Il s’agit de l’option par défaut.

  • Décoché—Les balises HTML du texte en entrée ne seront pas supprimées

Boolean

Remove URLs (Supprimer les URL)

(Facultatif)

Indique si les URL sont supprimées ou non du texte en entrée

  • Activé—Les URL du texte en entrée seront supprimées. Il s’agit de l’option par défaut.

  • Décoché—Les URL du texte en entrée ne seront pas supprimées.

Boolean

Prompt

(Facultatif)

Entrée ou instruction spécifique donnée à un grand modèle de langage (LLM) pour générer une sortie attendue.

La valeur par défaut est Transform the input text from the text field into the transformed text present in the label field (Remplacer le texte en entrée du champ de texte par le texte transformé présent dans le champ d’étiquette).

String

Environnements

Type de processeur, ID GPU

Informations de licence

  • Basic: Non
  • Standard: Non
  • Advanced: Oui