Обучить модель классификации текста (Инструменты GeoAI)

Краткая информация

Обучает модель классификации текста с одной или несколькими надписями для присваивания предварительно заданной категории или надписи неструктурированному тексту.

Узнайте больше о том, как работает классификация текста

Использование

Для этого инструмента требуются установленные среды глубокого изучения. Чтобы настроить компьютер на работу в среде глубокого обучения в ArcGIS Pro, см. раздел Установка сред глубокого обучения для ArcGIS.

Этот инструмент также можно использовать для точной настройки существующей обученной модели.
Чтобы запустить этот инструмент с использованием графического процессора, установите Тип процессора как GPU. Если имеется более одного GPU, можно вместо этого задать GPU ID.
Входными данными могут быть таблица или класс объектов, которые содержат данные обучения, с текстовым полем, где хранится входной текст, и полем метки, где хранятся метки целевого класса.
Этот инструмент использует опорные модели на основе преобразователей для обучения моделей классификации текста, а также поддерживает контекстное обучение с подсказками с использованием Mistral LLM. Чтобы установить Mistral backbone, см. ArcGIS Mistral Backbone.
Информацию о требованиях к запуску этого инструмента и проблемах, с которыми вы можете столкнуться, см. в разделе Часто задаваемые вопросы по глубокому обучению.

Подпись	Объяснение	Тип данных
Входная таблица	Класс пространственных объектов или таблица, содержащие текстовое поле с входным текстом для модели и поле надписи, содержащее надписи целевого класса.	Feature Layer; Table View
Текстовое поле	Текстовое поле во входном классе объектов или таблице, содержащее текст, который будет классифицирован моделью.	Field
Поле надписи	Текстовое поле во входном классе пространственных объектов или таблице, содержащее надписи целевого класса для обучения модели. В случае классификации текста с несколькими надписями укажите более одного текстового поля.	Field
Выходная модель	Местоположение выходной папки, в которой будет храниться обученная модель.	Folder
Файл предварительно обученной модели (Дополнительный)	Предварительно обученная модель, которая будет использоваться для уточнения новой модели. Входными данными могут быть файл Esri Model Definition (`.emd`) или файл пакета глубокого обучения (`.dlpk`). Предварительно обученная модель с похожими классами может быть уточнена для соответствия новой модели. Предварительно обученная модель должна быть обучена с помощью модели того же типа и базовой моделью, которые будут использоваться для обучения новой модели.	File
Максимальное число периодов времени (Дополнительный)	Максимальное число эпох, для которых будет обучаться модель. Максимальное значение эпохи, равное 1, означает, что набор данных будет передаваться через нейронную сеть один раз. Значение, предлагаемое по умолчанию, равно 5.	Long
Опорная модель (Дополнительный)	Задает предварительно настроенную нейронную сеть, которая будет использоваться в качестве базовой архитектуры для обучения новой модели и извлекать представления объектов входного текста в виде векторов фиксированной длины. Эти векторы будут переданы в качестве входных данных в заголовок классификации модели. на основе bert-base-cased–Модель будет обучаться с помощью нейронной сети BERT. Предварительное обучение BERT проводится с использованием задачи моделирования языка по маске и предсказания следующего предложения. на основе roberta-base–Модель будет обучаться с помощью нейронной сети RoBERTa. RoBERTa изменяет ключевые гиперпараметры BERT, устраняя цель предварительного обучения и обучая следующему предложению небольшими пакетами и с более высокой скоростью обучения. на основе albert-base-v1–Модель будет обучаться с помощью нейронной сети ALBERT. ALBERT использует самоконтролируемую потерю, которая фокусируется на моделировании связности между предложениями, что приводит к лучшей масштабируемости по сравнению с BERT. на основе xlnet-base-cased–Модель будет обучаться с помощью нейронной сети XLNet. Модель XLNet - генерализованный авторегрессивный метод предварительного обучения. Это обеспечивает двунаправленный обучающий контекст путем максимизации ожидаемой вероятности для всех перестановок порядка факторизации, что устраняет недостатки модели BERT. на основе xlm-roberta-base–Модель будет обучаться с помощью нейронной сети XLM-RoBERTa. XLM-RoBERTa — это многоязычная модель, обученная на 100 различных языках. В отличие от некоторых многоязычных моделей XLM, она не требует языковых тензоров, чтобы понять, какой язык используется, и определяет правильный язык по входным идентификаторам. на основе distilroberta-base–Модель будет обучаться с помощью нейронной сети DistilRoBERTa. DistilRoBERTa — это модель английского языка, предварительно обученная под надзором нейронной сети roberta-base, основанной исключительно на OpenWebTextCorpus, воспроизведении набора данных WebText OpenAI. на основе distilbert-base-cased–Модель будет обучаться с помощью нейронной сети DistilBERT. Distillery — это уменьшенная модель языкового представления общего назначения. mistral–Модель будет создана с использованием крупной языковой модели (LLM) Mistral. Mistral - это преобразование только декодирования, которое использует токенизаторы Sliding Window Attention, Grouped Query Attention и Byte-fallback BPE. Чтобы установить Mistral backbone, см. ArcGIS Mistral Backbone.	String
Размер пакета (Дополнительный)	Число обучающих примеров, которые обрабатываются одновременно. Значение по умолчанию – 2. Увеличение размера пакета может повысить производительность инструмента, но по мере его увеличения используется все больше памяти. При появлении ошибки переполнения памяти задайте меньший размер пакета.	Double
Аргументы модели (Дополнительный)	Дополнительные аргументы, которые будут использоваться для инициализации модели. Поддерживаемый аргумент модели — `Sequence Length`, который используется для установки максимальной длины последовательности обучающих данных, которые будут учитываться при обучении модели. Столбцы таблицы значений: Name–The name of the function argument. Value–The value of the function argument.	Value Table
Скорость обучения (Дополнительный)	Размер шага, указывающий, насколько веса модели будут скорректированы в процессе тренировки. Если значение не указано, то оптимальная скорость обучения будет применена автоматически.	Double
Процент проверки (Дополнительный)	Процент обучающих выборок, которые будут использоваться для проверки модели. Значение по умолчанию — 10 для опорных сетей на основе преобразователей и 50 для опорной сети Mistral.	Double
Завершить, когда модель перестанет улучшаться (Дополнительный)	Определяет, остановится ли обучение модели, если модель больше не улучшается, или обучение продолжится до достижения значения параметра Максимальное число периодов времени. Отмечено–Обучение модели остановится, когда модель перестанет улучшаться, независимо от значения параметра Максимальное число периодов времени. Используется по умолчанию. Не отмечено–Обучение модели будет продолжаться до тех пор, пока не будет достигнуто значение параметра Максимальное число периодов времени.	Boolean
Сделайте базовую основу модели обучаемой (Дополнительный)	Указывает, будут ли заморожены опорные слои в предварительно обученной модели, чтобы веса и смещения оставались такими, как они были изначально задуманы. Отмечено–Опорные слои не будут заморожены, а веса и смещения значения параметра `model_backbone` можно изменить, чтобы они соответствовали обучающим выборкам. Это требует больше времени для обработки, но обычно дает лучшие результаты. Используется по умолчанию. Не отмечено–Опорные слои будут заморожены, а предварительно заданные веса и смещения значения параметра `model_backbone` не будут изменены во время обучения.	Boolean
Удалить HTML-теги (Дополнительный)	Указывает, будут ли HTML-теги удалены из входного текста. Отмечено–HTML-теги во входном тексте будут удалены. Используется по умолчанию. Не отмечено–HTML-теги во входном тексте удалены не будут.	Boolean
Удалить URLs (Дополнительный)	Указывает, будут ли URL-адреса удалены из входного текста. Отмечено–URL-адреса во входном тексте будут удалены. Используется по умолчанию. Не отмечено–URL-адреса во входном тексте удалены не будут.	Boolean
Prompt (Дополнительный)	Определенные входные данные или инструкция, передаваемая большой языковой модели (LLM) для генерации ожидаемого результата. Значение по умолчанию - Классифицировать предоставленный текст по указанным классам. Не создавать новые метки для классификации.	String

arcpy.geoai.TrainTextClassificationModel(in_table, text_field, label_field, out_model, {pretrained_model_file}, {max_epochs}, {model_backbone}, {batch_size}, {model_arguments}, {learning_rate}, {validation_percentage}, {stop_training}, {make_trainable}, {remove_html_tags}, {remove_urls}, {prompt})

Имя	Объяснение	Тип данных
in_table	Класс пространственных объектов или таблица, содержащие текстовое поле с входным текстом для модели и поле надписи, содержащее надписи целевого класса.	Feature Layer; Table View
text_field	Текстовое поле во входном классе объектов или таблице, содержащее текст, который будет классифицирован моделью.	Field
label_field [label_field,...]	Текстовое поле во входном классе пространственных объектов или таблице, содержащее надписи целевого класса для обучения модели. В случае классификации текста с несколькими надписями укажите более одного текстового поля.	Field
out_model	Местоположение выходной папки, в которой будет храниться обученная модель.	Folder
pretrained_model_file (Дополнительный)	Предварительно обученная модель, которая будет использоваться для уточнения новой модели. Входными данными могут быть файл Esri Model Definition (`.emd`) или файл пакета глубокого обучения (`.dlpk`). Предварительно обученная модель с похожими классами может быть уточнена для соответствия новой модели. Предварительно обученная модель должна быть обучена с помощью модели того же типа и базовой моделью, которые будут использоваться для обучения новой модели.	File
max_epochs (Дополнительный)	Максимальное число эпох, для которых будет обучаться модель. Максимальное значение эпохи, равное 1, означает, что набор данных будет передаваться через нейронную сеть один раз. Значение, предлагаемое по умолчанию, равно 5.	Long
model_backbone (Дополнительный)	Задает предварительно настроенную нейронную сеть, которая будет использоваться в качестве базовой архитектуры для обучения новой модели и извлекать представления объектов входного текста в виде векторов фиксированной длины. Эти векторы будут переданы в качестве входных данных в заголовок классификации модели. `bert-base-cased`–Модель будет обучаться с помощью нейронной сети BERT. Предварительное обучение BERT проводится с использованием задачи моделирования языка по маске и предсказания следующего предложения. `roberta-base`–Модель будет обучаться с помощью нейронной сети RoBERTa. RoBERTa изменяет ключевые гиперпараметры BERT, устраняя цель предварительного обучения и обучая следующему предложению небольшими пакетами и с более высокой скоростью обучения. `albert-base-v1`–Модель будет обучаться с помощью нейронной сети ALBERT. ALBERT использует самоконтролируемую потерю, которая фокусируется на моделировании связности между предложениями, что приводит к лучшей масштабируемости по сравнению с BERT. `xlnet-base-cased`–Модель будет обучаться с помощью нейронной сети XLNet. Модель XLNet - генерализованный авторегрессивный метод предварительного обучения. Это обеспечивает двунаправленный обучающий контекст путем максимизации ожидаемой вероятности для всех перестановок порядка факторизации, что устраняет недостатки модели BERT. `xlm-roberta-base`–Модель будет обучаться с помощью нейронной сети XLM-RoBERTa. XLM-RoBERTa — это многоязычная модель, обученная на 100 различных языках. В отличие от некоторых многоязычных моделей XLM, она не требует языковых тензоров, чтобы понять, какой язык используется, и определяет правильный язык по входным идентификаторам. `distilroberta-base`–Модель будет обучаться с помощью нейронной сети DistilRoBERTa. DistilRoBERTa — это модель английского языка, предварительно обученная под надзором нейронной сети roberta-base, основанной исключительно на OpenWebTextCorpus, воспроизведении набора данных WebText OpenAI. `distilbert-base-cased`–Модель будет обучаться с помощью нейронной сети DistilBERT. Distillery — это уменьшенная модель языкового представления общего назначения. `mistral`–Модель будет создана с использованием крупной языковой модели (LLM) Mistral. Mistral - это преобразование только декодирования, которое использует токенизаторы Sliding Window Attention, Grouped Query Attention и Byte-fallback BPE. Чтобы установить Mistral backbone, см. ArcGIS Mistral Backbone.	String
batch_size (Дополнительный)	Число обучающих примеров, которые обрабатываются одновременно. Значение по умолчанию – 2. Увеличение размера пакета может повысить производительность инструмента, но по мере его увеличения используется все больше памяти. При появлении ошибки переполнения памяти задайте меньший размер пакета.	Double
model_arguments [model_arguments,...] (Дополнительный)	Дополнительные аргументы, которые будут использоваться для инициализации модели. Поддерживаемый аргумент модели — `Sequence Length`, который используется для установки максимальной длины последовательности обучающих данных, которые будут учитываться при обучении модели. Столбцы таблицы значений: `Name`–The name of the function argument. `Value`–The value of the function argument.	Value Table
learning_rate (Дополнительный)	Размер шага, указывающий, насколько веса модели будут скорректированы в процессе тренировки. Если значение не указано, то оптимальная скорость обучения будет применена автоматически.	Double
validation_percentage (Дополнительный)	Процент обучающих выборок, которые будут использоваться для проверки модели. Значение по умолчанию — 10 для опорных сетей на основе преобразователей и 50 для опорной сети Mistral.	Double
stop_training (Дополнительный)	Определяет, остановится ли обучение модели, если модель больше не улучшается, или обучение продолжится до достижения значения параметра `max_epochs`. `STOP_TRAINING`–Обучение модели остановится, когда модель перестанет улучшаться, независимо от значения параметра `max_epochs`. Используется по умолчанию. `CONTINUE_TRAINING`–Обучение модели будет продолжаться до тех пор, пока не будет достигнуто значение параметра `max_epochs`.	Boolean
make_trainable (Дополнительный)	Указывает, будут ли заморожены опорные слои в предварительно обученной модели, чтобы веса и смещения оставались такими, как они были изначально задуманы. `TRAIN_MODEL_BACKBONE`–Опорные слои не будут заморожены, а веса и смещения значения параметра `model_backbone` можно изменить, чтобы они соответствовали обучающим выборкам. Это требует больше времени для обработки, но обычно дает лучшие результаты. Используется по умолчанию. `FREEZE_MODEL_BACKBONE`–Опорные слои будут заморожены, а предварительно заданные веса и смещения значения параметра `model_backbone` не будут изменены во время обучения.	Boolean
remove_html_tags (Дополнительный)	Указывает, будут ли HTML-теги удалены из входного текста. `REMOVE_HTML_TAGS`–HTML-теги во входном тексте будут удалены. Используется по умолчанию. `DO_NOT_REMOVE_HTML_TAGS`–HTML-теги во входном тексте удалены не будут.	Boolean
remove_urls (Дополнительный)	Указывает, будут ли URL-адреса удалены из входного текста. `REMOVE_URLS`–URL-адреса во входном тексте будут удалены. Используется по умолчанию. `DO_NOT_REMOVE_URLS`–URL-адреса во входном тексте удалены не будут.	Boolean
prompt (Дополнительный)	Определенные входные данные или инструкция, передаваемая большой языковой модели (LLM) для генерации ожидаемого результата. Значение по умолчанию - Классифицировать предоставленный текст по указанным классам. Не создавать новые метки для классификации.	String

Пример кода

Пример TrainTextClassificationModel (автономный скрипт)

В следующем примере демонстрируется, как использовать функцию TrainTextClassificationModel.

# Name: TrainTextClassification.py
# Description: Train a text classifier model to classify text in different
#              classes.
#
# Requirements: ArcGIS Pro Advanced license

# Import system modules
import arcpy

arcpy.env.workspace = "C:/textanalysisexamples/data"

# Set local variables
in_table = "training_data_textclassifier.csv"
out_folder = "c:\\textclassifier"

# Run Train Text Classification Model
arcpy.geoai.TrainTextClassificationModel(
    in_table, out_folder, max_epochs=2, text_field="Address",
    label_field="Country", batch_size=16)

Параметры среды

Тип процессора, GPU ID

Информация о лицензировании