Обучение модели распознавания элементов (Инструменты GeoAI)

Краткая информация

Тренирует именованную модель распознавания элементов для извлечения преднастроенного набора записей из исходного текста.

Узнайте больше о том, как работает распознавание сущностей

Использование

Для этого инструмента требуются установленные среды глубокого изучения. Чтобы настроить компьютер на работу в среде глубокого обучения в ArcGIS Pro, см. раздел Установка сред глубокого обучения для ArcGIS.

Этот инструмент также можно использовать для точной настройки существующей обученной модели.
Чтобы запустить этот инструмент с использованием графического процессора, установите Тип процессора как GPU. Если имеется более одного GPU, можно вместо этого задать GPU ID.
Входными данными может быть класс объектов или таблица с текстовым полем и именованными метками элементов, либо папка с обучающими данными в файлах .json или .csv.
Этот инструмент использует опорные модели на основе преобразователей для обучения моделей NER, а также поддерживает контекстное обучение с подсказками с использованием Mistral LLM. Чтобы установить Mistral backbone, см. ArcGIS Mistral Backbone.
Информацию о требованиях к запуску этого инструмента и проблемах, с которыми вы можете столкнуться, см. в разделе Часто задаваемые вопросы по глубокому обучению.

Подпись	Объяснение	Тип данных
Входная папка или таблица	Входными данными могут быть следующие: Класс пространственных объектов или таблица, содержащая текстовое поле с входным текстом для модели и помеченные элементы, где выбранное текстовое поле будет использоваться в качестве входного текста для модели, а остальные поля будут обрабатываться как надписи именованных элементов. Папка, содержащая обучающие данные в формате стандартных наборов данных для задач NER. Обучающие данные должны быть в файле `.json` или `.csv`. Формат файла определяет тип набора данных входных данных. Если входными данными является папка, поддерживаются следующие типы наборов данных: ner_json—Папка с обучающими данными должна содержать `.json` файл с текстом и помеченными элементами, отформатированными с помощью формата обучения spaCy JSON. IOB—Формат IOB (теги I - inside, O - outside, B - beginning), предлагаемый Ramshaw и Marcus в статье Разделение текста на фрагменты с использованием обучения на основе преобразований.. Папка обучающих данных должна содержать следующие два файла `.csv`: `tokens.csv`—Содержит текст в виде входных фрагментов `tags.csv`—Содержит теги IOB для текстовых фрагментов BILUO—Расширение формата IOB, которое дополнительно содержит теги L - last и U - unit. Папка обучающих данных должна содержать следующие два файла `.csv`: `tokens.csv`—Содержит текст в виде входных фрагментов `tags.csv`—Содержит теги BILUO для текстовых фрагментов	Folder; Feature Layer; Table View; Feature Class
Выходная модель	Местоположение выходной папки, в которой будет храниться обученная модель.	Folder
Файл предварительно обученной модели (Дополнительный)	Предварительно обученная модель, которая будет использоваться для уточнения новой модели. Входными данными могут быть файл Esri Model Definition (.emd) или файл пакета глубокого обучения (.dlpk). Предварительно обученную модель с подобными записями можно настроить так, чтобы она соответствовала новой модели. Предварительно обученная модель должна быть обучена с помощью модели того же типа и базовой моделью, которые будут использоваться для обучения новой модели.	File
Элемент адреса (Дополнительный)	Элемент адреса распознается как местоположение Во время логического вывода такие объекты будут геокодированы с использованием указанного локатора, и в результате процесса извлечения объектов будет создан класс пространственных объектов. Если локатор не указан, либо обучающая модель не извлекла записи адресов, то вместо этого будет создана таблица с извлеченными записями.	String
Максимальное число периодов времени (Дополнительный)	Максимальное число эпох, для которых будет обучаться модель. Максимальное значение эпохи, равное 1, означает, что набор данных будет передаваться через нейронную сеть один раз. Значение, предлагаемое по умолчанию, равно 5.	Long
Опорная модель (Дополнительный)	Задает предварительно настроенную нейросеть, которая будет использоваться в качестве архитектуры для обучения новой модели. на основе bert-base-cased–Модель будет обучаться с помощью нейронной сети BERT. Предварительное обучение BERT проводится с использованием задачи моделирования языка по маске и предсказания следующего предложения. на основе roberta-base–Модель будет обучаться с помощью нейронной сети RoBERTa. RoBERTa изменяет ключевые гиперпараметры BERT, устраняя цель предварительного обучения и обучая следующему предложению небольшими пакетами и с более высокой скоростью обучения. на основе albert-base-v1–Модель будет обучаться с помощью нейронной сети ALBERT. ALBERT использует самоконтролируемую потерю, которая фокусируется на моделировании связности между предложениями, что приводит к лучшей масштабируемости по сравнению с BERT. на основе xlnet-base-cased–Модель будет обучаться с помощью нейронной сети XLNet. Модель XLNet - генерализованный авторегрессивный метод предварительного обучения. Это обеспечивает двунаправленный обучающий контекст путем максимизации ожидаемой вероятности для всех перестановок порядка факторизации, что устраняет недостатки модели BERT. на основе xlm-roberta-base–Модель будет обучаться с помощью нейронной сети XLM-RoBERTa. XLM-RoBERTa — это многоязычная модель, обученная на 100 различных языках. В отличие от некоторых многоязычных моделей XLM, она не требует языковых тензоров, чтобы понять, какой язык используется, и определяет правильный язык по входным идентификаторам. на основе distilroberta-base–Модель будет обучаться с помощью нейронной сети DistilRoBERTa. DistilRoBERTa — это модель английского языка, предварительно обученная под надзором нейронной сети roberta-base, основанной исключительно на OpenWebTextCorpus, воспроизведении набора данных WebText OpenAI. на основе distilbert-base-cased–Модель будет обучаться с помощью нейронной сети DistilBERT. Distillery — это уменьшенная модель языкового представления общего назначения. mistral–Модель будет обучаться с использованием крупной языковой модели (LLM) Mistral. Mistral - это преобразование только декодирования, которое использует токенизаторы Sliding Window Attention, Grouped Query Attention и Byte-fallback BPE. Чтобы установить Mistral backboneя, см. ArcGIS Mistral Backbone.	String
Размер пакета (Дополнительный)	Число обучающих примеров, которые обрабатываются одновременно. Значение по умолчанию – 2. Увеличение размера пакета может повысить производительность инструмента, но по мере его увеличения используется все больше памяти. При появлении ошибки переполнения памяти задайте меньший размер пакета.	Double
Аргументы модели (Дополнительный)	Дополнительные аргументы, которые будут использоваться для инициализации модели. Поддерживаемый аргумент модели — `Sequence Length`, который используется для установки максимальной длины последовательности обучающих данных, которые будут учитываться при обучении модели. Столбцы таблицы значений: Name–The name of the function argument. Value–The value of the function argument.	Value Table
Скорость обучения (Дополнительный)	Размер шага, указывающий, насколько веса модели будут скорректированы в процессе тренировки. Если значение не указано, оптимальная скорость обучения будет вычислена автоматически.	Double
Процент проверки (Дополнительный)	Процент обучающих выборок, которые будут использоваться для проверки модели. Значение по умолчанию — 10 для опорных сетей на основе преобразователей и 50 для опорной сети Mistral.	Double
Завершить, когда модель перестанет улучшаться (Дополнительный)	Определяет, остановится ли обучение модели, если модель больше не улучшается, или обучение продолжится до достижения значения параметра Максимальное число периодов времени. Отмечено–Обучение модели остановится, когда модель перестанет улучшаться, независимо от значения параметра Максимальное число периодов времени. Используется по умолчанию. Не отмечено–Обучение модели будет продолжаться до тех пор, пока не будет достигнуто значение параметра Максимальное число периодов времени.	Boolean
Сделайте базовую основу модели обучаемой (Дополнительный)	Указывает, будут ли заморожены опорные слои в предварительно обученной модели, чтобы веса и смещения оставались такими, как они были изначально задуманы. Отмечено–Опорные слои не будут заморожены, а веса и смещения значения параметра Опорная модель можно изменить, чтобы они соответствовали обучающим выборкам. Это требует больше времени для обработки, но обычно дает лучшие результаты. Используется по умолчанию. Не отмечено–Опорные слои будут заморожены, а предварительно заданные веса и смещения значения параметра Опорная модель не будут изменены во время обучения.	Boolean
Текстовое поле	Текстовое поле во входном классе объектов или таблице, содержащее текст, который будет использоваться моделью как входные данные. Этот параметр необходим, если значение параметра Входная папка или таблица - класс пространственных объектов или таблица.	Field
Prompt (Дополнительный)	Определенные входные данные или инструкция, передаваемая большой языковой модели (LLM) для генерации ожидаемого результата. Значение по умолчанию - Извлечь именованные объекты, принадлежащие указанным классам, из предоставленного текста. Не используйте теги для объектов, принадлежащих к какому-либо другому классу.	String

arcpy.geoai.TrainEntityRecognitionModel(in_folder, out_model, {pretrained_model_file}, {address_entity}, {max_epochs}, {model_backbone}, {batch_size}, {model_arguments}, {learning_rate}, {validation_percentage}, {stop_training}, {make_trainable}, text_field, {prompt})

Имя	Объяснение	Тип данных
in_folder	Входными данными могут быть следующие: Класс пространственных объектов или таблица, содержащая текстовое поле с входным текстом для модели и помеченные элементы, где выбранное текстовое поле будет использоваться в качестве входного текста для модели, а остальные поля будут обрабатываться как надписи именованных элементов. Папка, содержащая обучающие данные в формате стандартных наборов данных для задач NER. Обучающие данные должны быть в файле `.json` или `.csv`. Формат файла определяет тип набора данных входных данных. Если входными данными является папка, поддерживаются следующие типы наборов данных: ner_json—Папка с обучающими данными должна содержать `.json` файл с текстом и помеченными элементами, отформатированными с помощью формата обучения spaCy JSON. IOB—Формат IOB (теги I - inside, O - outside, B - beginning), предлагаемый Ramshaw и Marcus в статье Разделение текста на фрагменты с использованием обучения на основе преобразований.. Папка обучающих данных должна содержать следующие два файла `.csv`: `tokens.csv`—Содержит текст в виде входных фрагментов `tags.csv`—Содержит теги IOB для текстовых фрагментов BILUO—Расширение формата IOB, которое дополнительно содержит теги L - last и U - unit. Папка обучающих данных должна содержать следующие два файла `.csv`: `tokens.csv`—Содержит текст в виде входных фрагментов `tags.csv`—Содержит теги BILUO для текстовых фрагментов	Folder; Feature Layer; Table View; Feature Class
out_model	Местоположение выходной папки, в которой будет храниться обученная модель.	Folder
pretrained_model_file (Дополнительный)	Предварительно обученная модель, которая будет использоваться для уточнения новой модели. Входными данными могут быть файл Esri Model Definition (.emd) или файл пакета глубокого обучения (.dlpk). Предварительно обученную модель с подобными записями можно настроить так, чтобы она соответствовала новой модели. Предварительно обученная модель должна быть обучена с помощью модели того же типа и базовой моделью, которые будут использоваться для обучения новой модели.	File
address_entity (Дополнительный)	Элемент адреса распознается как местоположение Во время логического вывода такие объекты будут геокодированы с использованием указанного локатора, и в результате процесса извлечения объектов будет создан класс пространственных объектов. Если локатор не указан, либо обучающая модель не извлекла записи адресов, то вместо этого будет создана таблица с извлеченными записями.	String
max_epochs (Дополнительный)	Максимальное число эпох, для которых будет обучаться модель. Максимальное значение эпохи, равное 1, означает, что набор данных будет передаваться через нейронную сеть один раз. Значение, предлагаемое по умолчанию, равно 5.	Long
model_backbone (Дополнительный)	Задает предварительно настроенную нейросеть, которая будет использоваться в качестве архитектуры для обучения новой модели. `bert-base-cased`–Модель будет обучаться с помощью нейронной сети BERT. Предварительное обучение BERT проводится с использованием задачи моделирования языка по маске и предсказания следующего предложения. `roberta-base`–Модель будет обучаться с помощью нейронной сети RoBERTa. RoBERTa изменяет ключевые гиперпараметры BERT, устраняя цель предварительного обучения и обучая следующему предложению небольшими пакетами и с более высокой скоростью обучения. `albert-base-v1`–Модель будет обучаться с помощью нейронной сети ALBERT. ALBERT использует самоконтролируемую потерю, которая фокусируется на моделировании связности между предложениями, что приводит к лучшей масштабируемости по сравнению с BERT. `xlnet-base-cased`–Модель будет обучаться с помощью нейронной сети XLNet. Модель XLNet - генерализованный авторегрессивный метод предварительного обучения. Это обеспечивает двунаправленный обучающий контекст путем максимизации ожидаемой вероятности для всех перестановок порядка факторизации, что устраняет недостатки модели BERT. `xlm-roberta-base`–Модель будет обучаться с помощью нейронной сети XLM-RoBERTa. XLM-RoBERTa — это многоязычная модель, обученная на 100 различных языках. В отличие от некоторых многоязычных моделей XLM, она не требует языковых тензоров, чтобы понять, какой язык используется, и определяет правильный язык по входным идентификаторам. `distilroberta-base`–Модель будет обучаться с помощью нейронной сети DistilRoBERTa. DistilRoBERTa — это модель английского языка, предварительно обученная под надзором нейронной сети roberta-base, основанной исключительно на OpenWebTextCorpus, воспроизведении набора данных WebText OpenAI. `distilbert-base-cased`–Модель будет обучаться с помощью нейронной сети DistilBERT. Distillery — это уменьшенная модель языкового представления общего назначения. `mistral`–Модель будет обучаться с использованием крупной языковой модели (LLM) Mistral. Mistral - это преобразование только декодирования, которое использует токенизаторы Sliding Window Attention, Grouped Query Attention и Byte-fallback BPE. Чтобы установить Mistral backboneя, см. ArcGIS Mistral Backbone.	String
batch_size (Дополнительный)	Число обучающих примеров, которые обрабатываются одновременно. Значение по умолчанию – 2. Увеличение размера пакета может повысить производительность инструмента, но по мере его увеличения используется все больше памяти. При появлении ошибки переполнения памяти задайте меньший размер пакета.	Double
model_arguments [model_arguments,...] (Дополнительный)	Дополнительные аргументы, которые будут использоваться для инициализации модели. Поддерживаемый аргумент модели — `Sequence Length`, который используется для установки максимальной длины последовательности обучающих данных, которые будут учитываться при обучении модели. Столбцы таблицы значений: `Name`–The name of the function argument. `Value`–The value of the function argument.	Value Table
learning_rate (Дополнительный)	Размер шага, указывающий, насколько веса модели будут скорректированы в процессе тренировки. Если значение не указано, оптимальная скорость обучения будет вычислена автоматически.	Double
validation_percentage (Дополнительный)	Процент обучающих выборок, которые будут использоваться для проверки модели. Значение по умолчанию — 10 для опорных сетей на основе преобразователей и 50 для опорной сети Mistral.	Double
stop_training (Дополнительный)	Определяет, остановится ли обучение модели, если модель больше не улучшается, или обучение продолжится до достижения значения параметра `max_epochs`. `STOP_TRAINING`–Обучение модели остановится, когда модель перестанет улучшаться, независимо от значения параметра `max_epochs`. Используется по умолчанию. `CONTINUE_TRAINING`–Обучение модели будет продолжаться до тех пор, пока не будет достигнуто значение параметра `max_epochs`.	Boolean
make_trainable (Дополнительный)	Указывает, будут ли заморожены опорные слои в предварительно обученной модели, чтобы веса и смещения оставались такими, как они были изначально задуманы. `TRAIN_MODEL_BACKBONE`–Опорные слои не будут заморожены, а веса и смещения значения параметра `model_backbone` можно изменить, чтобы они соответствовали обучающим выборкам. Это требует больше времени для обработки, но обычно дает лучшие результаты. Используется по умолчанию. `FREEZE_MODEL_BACKBONE`–Опорные слои будут заморожены, а предварительно заданные веса и смещения значения параметра `model_backbone` не будут изменены во время обучения.	Boolean
text_field	Текстовое поле во входном классе объектов или таблице, содержащее текст, который будет использоваться моделью как входные данные. Этот параметр необходим, если значение параметра `in_folder` - класс пространственных объектов или таблица.	Field
prompt (Дополнительный)	Определенные входные данные или инструкция, передаваемая большой языковой модели (LLM) для генерации ожидаемого результата. Значение по умолчанию - Извлечь именованные объекты, принадлежащие указанным классам, из предоставленного текста. Не используйте теги для объектов, принадлежащих к какому-либо другому классу.	String

Пример кода

Пример TrainEntityRecognitionModel (автономный скрипт)

В следующем примере демонстрируется, как использовать функцию TrainEntityRecognitionModel.

# Name: TrainEntityRecognizer.py
# Description: Train an Entity Recognition model to extract useful entities such as "Address", "Date" from text.

# Import system modules
import arcpy

arcpy.env.workspace = "C:/textanalysisexamples/data"

# Set local variables
in_folder = "train_data"
out_folder = "test_bio_format"

# Run Train Entity Recognition Model
arcpy.geoai.TrainEntityRecognitionModel(in_folder, out_folder)

Параметры среды

Тип процессора, GPU ID

Информация о лицензировании

Basic: Нет
Standard: Нет
Advanced: Да