Обучение модели преобразования текста (Инструменты GeoAI)

Краткая информация

Обучает модель преобразования текста для преобразования, перевода или суммирования текста.

Узнайте больше о том, как работает преобразование текста

Использование

Для этого инструмента требуются установленные среды глубокого изучения. Чтобы настроить компьютер на работу в среде глубокого обучения в ArcGIS Pro, см. раздел Установка сред глубокого обучения для ArcGIS.

Этот инструмент также можно использовать для точной настройки существующей обученной модели.
Чтобы запустить этот инструмент с использованием графического процессора, установите Тип процессора как GPU. Если имеется более одного GPU, можно вместо этого задать GPU ID.
Входными данными для этого инструмента являются таблица или класс объектов, которые содержат данные обучения, с текстовым полем, где хранится входной текст, и полем метки, где хранится преобразованный текст.
Этот инструмент использует опорные модели на основе преобразователей для обучения моделей преобразования текста, а также поддерживает контекстное обучение с подсказками с использованием Mistral LLM. Чтобы установить Mistral backbone, см. ArcGIS Mistral Backbone.
Информацию о требованиях к запуску этого инструмента и проблемах, с которыми вы можете столкнуться, см. в разделе Часто задаваемые вопросы по глубокому обучению.

Подпись	Объяснение	Тип данных
Входная таблица	Класс объектов или таблица, который содержит текстовое поле с входным текстом для модели и поле меток с преобразованным текстом.	Feature Layer; Table View
Текстовое поле	Текстовое поле во входном классе или таблице, содержащее входной текст, который будет преобразован моделью.	Field
Поле надписи	Текстовое поле во входном классе объектов или таблице, которое содержит преобразованный текст для обучения модели.	Field
Выходная модель	Местоположение выходной папки, в которой будет храниться обученная модель.	Folder
Файл предварительно обученной модели (Дополнительный)	Предварительно обученная модель, которая будет использоваться для уточнения новой модели. Входными данными могут быть файл Esri Model Definition (`.emd`) или файл пакета глубокого обучения (`.dlpk`). Предварительно обученную модель, которая выполняет аналогичную задачу, можно дополнительно настроить, чтобы она соответствовала обучающим данным. Предварительно обученная модель должна быть обучена с помощью модели того же типа и базовой моделью, которые будут использоваться для обучения новой модели.	File
Максимальное число периодов времени (Дополнительный)	Максимальное число эпох, для которых будет обучаться модель. Максимальное значение эпохи, равное 1, означает, что набор данных будет передаваться через нейронную сеть один раз. Значение, предлагаемое по умолчанию, равно 5.	Long
Опорная модель (Дополнительный)	Задает предварительно настроенную нейросеть, которая будет использоваться в качестве архитектуры для обучения новой модели. t5-small–Новая модель будет обучаться с помощью нейронной сети T5. T5 - унифицированная среда, в которой каждая языковая задача конвертируется в формат текст-в-текст. t5-small - уменьшенный вариант T5. t5-base–Новая модель будет обучаться с помощью нейронной сети T5. T5 - унифицированная среда, в которой каждая языковая задача конвертируется в формат текст-в-текст. t5-base - базовый вариант T5. t5-large–Новая модель будет обучаться с помощью нейронной сети T5. T5 - унифицированная среда, в которой каждая языковая задача конвертируется в формат текст-в-текст. t5-large - максимальный вариант T5. mistral–Модель будет обучаться с использованием крупной языковой модели (LLM) Mistral. Mistral - это преобразование только декодирования, которое использует токенизаторы Sliding Window Attention, Grouped Query Attention и Byte-fallback BPE. Чтобы установить Mistral backbone, см. ArcGIS Mistral Backbone.	String
Размер пакета (Дополнительный)	Число обучающих примеров, которые обрабатываются одновременно. Значение по умолчанию – 2. Увеличение размера пакета может повысить производительность инструмента, но по мере его увеличения используется все больше памяти. При появлении ошибки переполнения памяти задайте меньший размер пакета.	Double
Аргументы модели (Дополнительный)	Дополнительные аргументы, которые будут использоваться для инициализации модели. Поддерживаемый аргумент модели — `Sequence Length`, который используется для установки максимальной длины последовательности обучающих данных, которые будут учитываться при обучении модели. Столбцы таблицы значений: Name–The name of the function argument. Value–The value of the function argument.	Value Table
Скорость обучения (Дополнительный)	Размер шага, указывающий, насколько веса модели будут скорректированы в процессе тренировки. Если значение не указано, оптимальная скорость обучения будет вычислена автоматически.	Double
Процент проверки (Дополнительный)	Процент обучающих выборок, которые будут использоваться для проверки модели. Значение по умолчанию — 10 для опорных сетей на основе преобразователей и 50 для опорной сети Mistral.	Double
Завершить, когда модель перестанет улучшаться (Дополнительный)	Определяет, остановится ли обучение модели, если модель больше не улучшается, или обучение продолжится до достижения значения параметра Максимальное число периодов времени. Отмечено–Обучение модели остановится, когда модель перестанет улучшаться, независимо от значения параметра Максимальное число периодов времени. Используется по умолчанию. Не отмечено–Обучение модели будет продолжаться до тех пор, пока не будет достигнуто значение параметра Максимальное число периодов времени.	Boolean
Сделайте базовую основу модели обучаемой (Дополнительный)	Указывает, будут ли заморожены опорные слои в предварительно обученной модели, чтобы веса и смещения оставались такими, как они были изначально задуманы. Отмечено–Опорные слои не будут заморожены, а веса и смещения значения параметра Опорная модель можно изменить, чтобы они соответствовали обучающим выборкам. Это требует больше времени для обработки, но обычно дает лучшие результаты. Используется по умолчанию. Не отмечено–Опорные слои будут заморожены, а предварительно заданные веса и смещения значения параметра Опорная модель не будут изменены во время обучения.	Boolean
Удалить HTML-теги (Дополнительный)	Указывает, будут ли HTML-теги удалены из входного текста. Отмечено–HTML-теги во входном тексте будут удалены. Используется по умолчанию. Не отмечено–HTML-теги во входном тексте удалены не будут.	Boolean
Удалить URLs (Дополнительный)	Указывает, будут ли URL-адреса удалены из входного текста. Отмечено–URL-адреса во входном тексте будут удалены. Используется по умолчанию. Не отмечено–URL-адреса во входном тексте удалены не будут.	Boolean
Prompt (Дополнительный)	Определенные входные данные или инструкция, передаваемая большой языковой модели (LLM) для генерации ожидаемого результата. Значение по умолчанию - Преобразовать введенный текст из текстового поля в преобразованный текст, присутствующий в поле метки.	String

arcpy.geoai.TrainTextTransformationModel(in_table, text_field, label_field, out_model, {pretrained_model_file}, {max_epochs}, {model_backbone}, {batch_size}, {model_arguments}, {learning_rate}, {validation_percentage}, {stop_training}, {make_trainable}, {remove_html_tags}, {remove_urls}, {prompt})

Имя	Объяснение	Тип данных
in_table	Класс объектов или таблица, который содержит текстовое поле с входным текстом для модели и поле меток с преобразованным текстом.	Feature Layer; Table View
text_field	Текстовое поле во входном классе или таблице, содержащее входной текст, который будет преобразован моделью.	Field
label_field	Текстовое поле во входном классе объектов или таблице, которое содержит преобразованный текст для обучения модели.	Field
out_model	Местоположение выходной папки, в которой будет храниться обученная модель.	Folder
pretrained_model_file (Дополнительный)	Предварительно обученная модель, которая будет использоваться для уточнения новой модели. Входными данными могут быть файл Esri Model Definition (`.emd`) или файл пакета глубокого обучения (`.dlpk`). Предварительно обученную модель, которая выполняет аналогичную задачу, можно дополнительно настроить, чтобы она соответствовала обучающим данным. Предварительно обученная модель должна быть обучена с помощью модели того же типа и базовой моделью, которые будут использоваться для обучения новой модели.	File
max_epochs (Дополнительный)	Максимальное число эпох, для которых будет обучаться модель. Максимальное значение эпохи, равное 1, означает, что набор данных будет передаваться через нейронную сеть один раз. Значение, предлагаемое по умолчанию, равно 5.	Long
model_backbone (Дополнительный)	Задает предварительно настроенную нейросеть, которая будет использоваться в качестве архитектуры для обучения новой модели. `t5-small`–Новая модель будет обучаться с помощью нейронной сети T5. T5 - унифицированная среда, в которой каждая языковая задача конвертируется в формат текст-в-текст. t5-small - уменьшенный вариант T5. `t5-base`–Новая модель будет обучаться с помощью нейронной сети T5. T5 - унифицированная среда, в которой каждая языковая задача конвертируется в формат текст-в-текст. t5-base - базовый вариант T5. `t5-large`–Новая модель будет обучаться с помощью нейронной сети T5. T5 - унифицированная среда, в которой каждая языковая задача конвертируется в формат текст-в-текст. t5-large - максимальный вариант T5. `mistral`–Модель будет обучаться с использованием крупной языковой модели (LLM) Mistral. Mistral - это преобразование только декодирования, которое использует токенизаторы Sliding Window Attention, Grouped Query Attention и Byte-fallback BPE. Чтобы установить Mistral backbone, см. ArcGIS Mistral Backbone.	String
batch_size (Дополнительный)	Число обучающих примеров, которые обрабатываются одновременно. Значение по умолчанию – 2. Увеличение размера пакета может повысить производительность инструмента, но по мере его увеличения используется все больше памяти. При появлении ошибки переполнения памяти задайте меньший размер пакета.	Double
model_arguments [model_arguments,...] (Дополнительный)	Дополнительные аргументы, которые будут использоваться для инициализации модели. Поддерживаемый аргумент модели — `Sequence Length`, который используется для установки максимальной длины последовательности обучающих данных, которые будут учитываться при обучении модели. Столбцы таблицы значений: `Name`–The name of the function argument. `Value`–The value of the function argument.	Value Table
learning_rate (Дополнительный)	Размер шага, указывающий, насколько веса модели будут скорректированы в процессе тренировки. Если значение не указано, оптимальная скорость обучения будет вычислена автоматически.	Double
validation_percentage (Дополнительный)	Процент обучающих выборок, которые будут использоваться для проверки модели. Значение по умолчанию — 10 для опорных сетей на основе преобразователей и 50 для опорной сети Mistral.	Double
stop_training (Дополнительный)	Определяет, остановится ли обучение модели, если модель больше не улучшается, или обучение продолжится до достижения значения параметра `max_epochs`. `STOP_TRAINING`–Обучение модели остановится, когда модель перестанет улучшаться, независимо от значения параметра `max_epochs`. Используется по умолчанию. `CONTINUE_TRAINING`–Обучение модели будет продолжаться до тех пор, пока не будет достигнуто значение параметра `max_epochs`.	Boolean
make_trainable (Дополнительный)	Указывает, будут ли заморожены опорные слои в предварительно обученной модели, чтобы веса и смещения оставались такими, как они были изначально задуманы. `TRAIN_MODEL_BACKBONE`–Опорные слои не будут заморожены, а веса и смещения значения параметра `model_backbone` можно изменить, чтобы они соответствовали обучающим выборкам. Это требует больше времени для обработки, но обычно дает лучшие результаты. Используется по умолчанию. `FREEZE_MODEL_BACKBONE`–Опорные слои будут заморожены, а предварительно заданные веса и смещения значения параметра `model_backbone` не будут изменены во время обучения.	Boolean
remove_html_tags (Дополнительный)	Указывает, будут ли HTML-теги удалены из входного текста. `REMOVE_HTML_TAGS`–HTML-теги во входном тексте будут удалены. Используется по умолчанию. `DO_NOT_REMOVE_HTML_TAGS`–HTML-теги во входном тексте удалены не будут.	Boolean
remove_urls (Дополнительный)	Указывает, будут ли URL-адреса удалены из входного текста. `REMOVE_URLS`–URL-адреса во входном тексте будут удалены. Используется по умолчанию. `DO_NOT_REMOVE_URLS`–URL-адреса во входном тексте удалены не будут.	Boolean
prompt (Дополнительный)	Определенные входные данные или инструкция, передаваемая большой языковой модели (LLM) для генерации ожидаемого результата. Значение по умолчанию - Преобразовать введенный текст из текстового поля в преобразованный текст, присутствующий в поле метки.	String

Пример кода

Пример TrainTextTransformationModel (окно Python)

Следующий скрипт окна Python демонстрирует использование функции TrainTextTransformationModel.

# Name: TrainTextTransformation.py
# Description: Train a sequence-to-sequence model to translate text from English to German.
#
# Requirements: ArcGIS Pro Advanced license

# Import system modules
import arcpy
import os

# Set local variables
in_table = "training_data.csv"
out_folder = "c\\texttransformer"

# Run Train Text Transformation Model
arcpy.geoai.TrainTextTransformationModel(in_table, out_folder, max_epochs=2,
         text_field="input", label_field="target", batch_size=16)

Параметры среды

Тип процессора, GPU ID

Информация о лицензировании

Basic: Нет
Standard: Нет
Advanced: Да