Разметка объектов для глубокого обучения

Доступно с лицензией Image Analyst.

Доступно с лицензией Spatial Analyst.

Все задачи контролируемого глубокого обучения зависят от размеченных наборов данных, а это означает, что люди должны применять свои знания для обучения нейронной сети идентификации или нахождения объектов интереса. Отмеченные объекты будут использоваться нейронной сетью для обучения модели, с помощью которой можно сделать выводы о данных.

Расстановка меток - это процесс отбора репрезентативных образцов объекта интереса. Объекты, выбранные для меток, должны точно отражать пространственные и спектральные характеристики, ориентацию, размер и состояние объектов интереса. Чем лучше отмеченные объекты представляют объект интереса, тем лучше будет обучение модели глубокого обучения и тем точнее будет классификация и обнаружение логических выводов.

Аннотирование изображения или разметка, жизненно важны для задач глубокого обучения, таких как компьютерное зрение и обучение. Для обучения хорошей модели глубокого обучения требуется большой объем отмеченных данных. Когда доступны правильные обучающие данные, системы глубокого обучения могут быть точными в извлечении пространственных объектов, распознавании закономерностей и решении сложных задач. Для расстановки меток данных можно использовать панель Отметить объекты для глубокого обучения.

Кнопка Отметить объекты для глубокого обучения находится в ниспадающем меню Инструменты глубокого обучения в группе Классификация изображений на вкладке Изображения. Когда инструмент открыт, выберите использование Существующего слоя изображений, Нового слоя коллекции изображений или Нового слоя видео. Для создания новой коллекции изображений перейдите в папку с изображениями, будет создан слой с коллекцией изображений. Для нового слоя видео также укажите интервал кадров; это извлечет кадры и создаёт коллекцию изображений для разметки.

Как только значение параметра Изображения/Коллекция изображений задано, откроется панель Отметить объекты. Панель разделена на две части. Верхняя часть панели используется для управления классами, а нижняя часть панели для управления набором примеров и для экспорта обучающих данных для сред глубокого обучения.

Создать классы и отметить объекты

В верхней части панели можно управлять классами объектов и создавать объекты, используемые для обучения модели глубокого обучения. Для создания отмеченных объектов доступны следующие инструменты создания эскизов и инструменты с поддержкой искусственного интеллекта (ИИ):

Значок	Инструмент	Описание	Сочетание клавиш
	Точка	Создайте отмеченный объект, нарисовав точку на пространственном объекте или объекте на изображении.	X
	Линия	Создайте отмеченный объект, нарисовав линию на пространственном объекте или объекте на изображении.	L
	Прямоугольник	Создайте отмеченный объект, нарисовав прямоугольник вокруг пространственного объекта или объекта на изображении.	R
	Полигон	Создайте отмеченный объект, нарисовав многоугольник вокруг пространственного объекта или объекта на изображении.	P
	Окружность	Создайте отмеченный объект, нарисовав окружность вокруг пространственного объекта или объекта на изображении.	O
	Произвольная линия	Создайте отмеченный объект, нарисовав произвольную форму вокруг пространственного объекта или объекта на изображении.	F
	Автоматически выявить	Автоматически выявить и отметить объект или пространственный объект. Вокруг объекта или пространственного объекта на изображении будет создан полигон. Этот инструмент доступен только если установлены библиотеки рабочей среды глубокого обучения.	D
	Автоматическое обнаружение с использованием класса объектов	Используется для автоматического обнаружения объектов. Указанный класс точечных объектов используется для сегментирования объектов в местоположении каждой точки.	Shift+D
	Разметить изображение	Назначить выбранный класс текущему изображению. Этот инструмент доступен только в режиме Коллекция изображений.	Вход
	Выбрать и редактировать	Выбрать и отредактировать отмеченный объект.	V
	Выбор сегмента	Создайте пространственный объект, выбрав сегмент из сегментированного слоя. Эта опция доступна только, если на панели Содержание есть сегментированный слой. Активируйте Выбор сегмента, выделив сегментированный слой на панели Содержание, и выберите слой из ниспадающего списка Выбор сегмента.	G
	Создать новую схему	Создайте схему классификации.	W
	Найти схему	Выберите опцию схемы классификации. Перейдите к существующей схеме. Создайте новую схему из существующего класса объектов обучающей выборки. Создайте новую схему из существующего классифицированного растра. Создайте новую схему, используя схему по умолчанию 2011 National Land Cover Database.	B
	Сохранить схему	Сохраните изменения в схеме.	G
	Сохранить как схему	Сохраните копию схемы.	Shift+G
	Добавить новый класс	Добавьте категорию класса в схему. Сначала выберите имя схемы для создания нового родительского класса на самом верхнем уровне. Выберите имя существующего класса для создания подкласса.	C
	Удалить класс	Удалите выбранную категорию класса или подкласса из схемы.	Z
	Матрица точечной диаграммы	Просмотреть матрицу точечной диаграммы выбранных обучающих выборок.	М
	Гистограмма	Просмотреть гистограмму выбранных обучающих выборок.	Q

Отмеченные объекты

Нижняя часть панели позволяет управлять отмеченными объектами, которые были созданы.

Значок	Инструмент	Описание	Сочетание клавиш
	Загрузить обучающую выборку	Загрузить обучающие выборки из таблицы.	Ctrl+L
	Сохранить	Сохраните метки.	Ctrl+S
	Сохранить как	Сохраните копию меток.	Ctrl+Shift+S
	Редактировать свойства класса	Отредактируйте свойства выбранного класса.	Ctrl+Enter
	Удалить	Создайте отмеченный объект, нарисовав окружность вокруг пространственного объекта или объекта на изображении.	Del
	Редактировать метку	Отредактируйте выбранный метку.	E

Инструменты отметок с поддержкой ИИ

Существует три типа инструментов ИИ для разметки объектов: Автоматическое определение, Текстовая подсказка и сегментирование с использованием ИИ.

Инструмент Автоматическое определение

Инструмент Автоматическое определение автоматически рисует прямоугольник вокруг объекта. Щелкните объект, и вокруг него будет нарисован ограничивающий прямоугольник. Если вы хотите создать полигональную границу объекта, нажмите клавишу Shift при щелчке по объекту, вокруг геометрии объекта будет создан периметр. Чтобы инструмент работал хорошо, требуется, чтобы на карте отображалось значительное количество пикселов объектов, что требует увеличения масштаба и приближения к объектам.

Инструмент Автоматическое определение хорошо работает с отчетливыми объектами, с характерными формами, четкими краями и высокой контрастностью. Он не рекомендуется для работы с непрерывными объектами в непосредственной близости друг от друга.

Примечание:

Среда глубокого обучения для ArcGIS должна быть установлена для использования этой функциональности.

Ниже приведен список сочетаний клавиш при работе с функцией Автоматического определения.

Сочетание клавиш	Действие	Описание
Shift +M	Включить процесс многократного нажатия	Включите операцию щелчка по нескольким соединяемым объектам, чтобы они стали одним объектом. Удерживая нажатыми клавиши Shift+М, щелкните по первому объекту.
Shift+S	Остановить процесс многократного нажатия	Отключите операцию слияния соединяемых объектов. Удерживая нажатыми клавиши Shift+S, щелкните по последнему объекту.
D	Отменить последний объект	Отмените последний соединяемый объект. Удерживая нажатой клавишу D, щелкните по последнему присоединенному объекту.
F	Завершить объект	Объект завершен. Удерживая нажатой клавишу F, щелкните на последнем сегменте объекта, который нужно добавить.
A	Добавить объект	Добавьте созданный объект к соединяемому объекту. Удерживая нажатой клавишу A, щелкните объект, который нужно добавить. Это удобно, когда режим многократного нажатия не включен.
L	Удалить объект	Удалите созданный объект из соединяемого объекта. Удерживая нажатой клавишу L, щелкните объект, который нужно удалить.
K + A	Создать контур вокруг объекта	Создайте оконтуривающий полигон вокруг базового объекта. Удерживая нажатыми клавиши K + A, щелкните объект. Создается геометрия вокруг объекта, а не ограничивающая рамка.
K + L	Удалить контур вокруг объекта	Удалите контур вокруг объекта. Удерживая нажатыми клавиши K+L, щелкните объект с контуром, чтобы удалить контур.
K + D	Отменить последний контур	Отмените последний соединяемый контур. Удерживая нажатыми клавиши K + D, щелкните на последний соединяемый контур.

Инструмент Текстовая подсказка

Используя инструмент Текстовые подсказки, вы можете использовать функцию обнаружения для облегчения расстановки отметок. Введите имя одного или двух объектова в текстовое поле Имя класса и щелкните кнопку Выявить. Для этой функции рекомендуется использовать графический процессор высокого класса с объемом оперативной памяти не менее 12 ГБ. Чтобы автоматически запустить функцию текстовой подсказки для коллекции изображений, используйте сочетание клавиш Shift+O.

Чтобы улучшить результаты, установите значения Порог рамки и Порог текста в опциях Настройки:

• Порог рамки - это значение используется для обнаружения объекта на изображении. Более высокое значение делает модель более избирательной, идентифицируя только наиболее достоверные экземпляры объектов, что приводит к меньшему количеству обнаружений. Более низкое значение делает модель более толерантной, что приводит к увеличению числа обнаружений, в том числе потенциально менее достоверных. Значения порога находятся в диапазоне от 0 до 1.

• Порог текста - значение используется для связи обнаруженных объектов с предоставленной текстовой подсказкой. Более высокое значение требует более сильной ассоциации между объектом и текстовой подсказкой, что приводит к более точным, но потенциально меньшим ассоциациям. Меньшее значение допускает более слабые ассоциации, что может увеличить их количество, но также привести к менее точным совпадениям. Значения порога находятся в диапазоне от 0 до 1.

• Убрать аномалии — эта опция удаляет все объекты, которые не попадают в медианный диапазон с точки зрения распределения площади формы. По умолчанию – False.

Примечание:

Среда глубокого обучения для ArcGIS должна быть установлена для использования этой функциональности.

Запустить автоматическое обнаружение с использованием класса объектов

Инструмент Автоматическое обнаружение с использованием класса объектов используется для автоматического выявления объектов, если у вас имеется класс точечных объектов характерных особенностей. Каждая точка во входном классе точечных объектов отмечает признак, который вы хотите сегментировать.

Диалоговое окно Задать класс

Диалоговое окно Задать класс позволяет вам создать класс или задать существующий класс. Если вы выберете Использовать существующий класс, выберите соответствующий параметр Имя класса для этого объекта. Если вы выберете Добавить новый класс, вы можете отредактировать информацию и нажать ОК, чтобы создать класс.

Вкладка Отмеченные объекты

Вкладка Отмеченные объекты расположена в нижней части панели Отметить объекты и предназначена для управления обучающими выборками, собранными для каждого класса. Соберите репрезентативные участки или обучающие выборки для каждого класса на изображении. У обучающей выборки есть информация о местоположении (полигон) и связанный с ней класс. Алгоритм классификации изображений использует обучающие выборки, сохраненные как класс пространственных объектов, для определения классов наземного покрова на всем изображении.

Вы можете просматривать обучающие выборки и управлять ими, добавляя, группируя или удаляя их. Когда вы щелкаете обучающую выборку, она также выделяется на карте. Дважды щелкните на обучающей выборке в таблице, чтобы приблизиться к ней на карте.

Инструменты на вкладке Отмеченные объекты описаны в следующей таблице:

Инструмент	Описание
	Откройте существующий класс объектов обучающих выборок.
	Сохраните изменения, внесенные в текущий класс отмеченных пространственных объектов.
	Сохраните текущие отмеченные объекты как новый класс пространственных объектов.
	Удалите выбранные отмеченные объекты.

Вкладка Экспорт учебных данных

После того, как примеры собраны, вы можете экспортировать их в обучающие данные, щелкнув вкладку Экспорт обучающих данных. Затем обучающие данные можно использовать в модели глубокого обучения. Как только вы установите значения параметров, описанные ниже, нажмите кнопку Запустить, чтобы создать обучающие данные.

Параметр	Описание
Выходная папка	Выходная папка, в которой будут сохранены обучающие данные.
Полигональные объекты маски	Это класс полигональных объектов, которые очерчивают области, где будут создаваться фрагменты изображений. Будут создаваться только те фрагменты изображений, которые находятся полностью внутри полигонов.
Формат изображения	Задает формат растра для выходных фрагментов изображения: TIFF - используется по умолчанию. MRF (Формат Мета Растр) PNG JPEG Форматы PNG и JPEG поддерживают до трёх каналов.
Размер листа по X	Размер фрагментов изображений по измерению X.
Размер листа по Y	Размер фрагментов изображений по измерению Y.
Шаг по X	Расстояние для смещения по направлению Y, при создании следующих фрагментов изображения. Когда шаг равен размеру листа, наложения (перекрытия) не будет. Если шаг равен половине размера листа, величина перекрытия будет равна 50.
Шаг по Y	Расстояние для смещения по направлению Y, при создании следующих фрагментов изображения. Когда шаг равен размеру листа, наложения (перекрытия) не будет. Если шаг равен половине размера листа, величина перекрытия будет равна 50.
Угол поворота	Угол поворота, который будет использоваться для построения дополнительных фрагментов изображений. Сначала будет создан фрагмент изображения без поворота. Затем он будет повернут на указанный угол для создания дополнительных фрагментов изображения. Изображение будет поворачиваться и фрагмент будет создаваться до тех пор, пока он не будет повернут полностью. Например, если указать угол поворота 45 градусов, инструмент создаст восемь фрагментов изображения. Восемь фрагментов изображения будут созданы под следующими углами: 0, 45, 90, 135, 180, 255, 270 и 315.
Выходные листы Нет объектов	Определяет, будут ли экспортироваться фрагменты изображения, не захватывающие обучающие выборки. Не отмечено – экспортируются только фрагменты изображений, которые захватывают обучающие выборки. Используется по умолчанию. Отмечено – экспортируются все фрагменты, включая те, которые не захватывают обучающие выборки. Сбор фрагментов изображений, не содержащих обучающих выборок, может помочь модели идентифицировать объекты, которые не следует рассматривать как часть результатов, например ложноположительные объекты. Это также может уменьшить эффект переобучения.
Формат метаданных	Указывает формат, который будет использоваться для выходных меток метаданных. Если входные данные обучающей выборки представляют собой слой класс пространственных объектов, например слой зданий или стандартный файл классификации обучающих выборок, используйте параметр KITTI Labels или PASCAL Visual Object Classes (KITTI_rectangles или PASCAL_VOC_rectangles в Python). Выходные метаданные – это файл .txt или .xml, содержащий данные обучающих выборок, которые попадают в минимальный ограничивающий прямоугольник. Имя файла метаданных соответствует имени входного изображения-источника. Если ваши входные данные обучающих выборок – карта классов, используйте опцию Классифицированные листы (Classified_Tiles в Python) в качестве выходного формата метаданных. KITTI Labels – метаданные соответствуют формату Karlsruhe Institute of Technology and Toyota Technological Institute (KITTI) Object Detection Evaluation dataset. Набор данных KITTI представляет собой набор зрительных тестов. Файлы меток – это файлы с простым текстом. Все значения, как числовые так и строковые, разделены пробелами, и каждая строка соответствует одному объекту. PASCAL Visual Object Classes – метаданные соответствуют формату набора данных Pattern Analysis, Statistical Modeling and Computational Learning, Visual Object Classes (PASCAL_VOC). Набор данных PASCAL VOC – стандартизированные данные изображений, предназначенные для распознавания объектных классов. Файлы меток – это файлы .xml, они содержат информацию об имени изображения, значении класса и ограничивающих прямоугольниках. Используется по умолчанию. Классифицированные листы - выходными данными будет один классифицированный фрагмент изображения на один входной фрагмент изображения. Другие метаданные для фрагментов изображений не используются. Только выходные данные статистики содержат больше информации для классов, включая имя класса, значение класса и выходную статистику. RCNN Masks – выходными данными будет фрагмент изображения, имеющий маску в областях, где присутствует образец. Модель генерирует ограничивающие рамки и маски сегментации для каждого экземпляра объекта на изображении. Модель основана на Feature Pyramid Network (FPN) и опорной сети ResNet101 в модели глубокого обучения. Отмеченные листы - каждый выходной лист будет отмечен определенным классом. Если вы выберете этот формат метаданных, вы можете выполнить дополнительную тонкую настройку параметров Объект с затемнением вокруг и Режим обрезания. Листы с несколькими метками — каждый выходной лист будет отмечен одним или несколькими классами. Например, лист может быть отмечен как "сельскохозяйственные земли" и "облачно". Этот формат используется для классификации объектов. Экспорт листов - выходными данными будут фрагменты изображений без отметки. Этот формат используется для методов преобразования изображений, таких как Pix2Pix и Super Resolution. CycleGAN - выходными данными будут фрагменты изображений без отметки. Этот формат используется для метода преобразования изображений CycleGAN, который используется для обучения не перекрывающихся изображений. Imagenet - Каждый выходной лист будет отмечен определенным классом. Этот формат используется для классификации объектов; однако его также можно использовать для отслеживания объектов, когда во время обучения используется тип модели Deep Sort. Для формата метаданных KITTI создается 15 столбцов, но только 5 из них будут использованы инструментом. Первый столбец – значение класса. Следующие 3 столбца пропускаются. Столбцы 5-8 задают минимальный ограничивающий прямоугольник, который состоит из четырех местоположений координат изображения: левый, верхний, правый и нижний пиксел, соответственно. Минимальный ограничивающий прямоугольник определяет обучающий фрагмент изображения, который используется классификатором глубокого обучения. Остальные столбцы не используются.
Объект с затемнением вокруг	Указывает, будут ли закрыты маской пикселы вокруг каждого объекта или элемента в каждом листе изображения. Не отмечено — пикселы, окружающие объекты или пространственные объекты, не будут закрыты маской. Используется по умолчанию. Отмечено — пикселы, окружающие объекты или пространственные объекты, будут закрыты маской. Этот параметр применяется только в случае, когда для параметра Формат метаданных указано Отмеченные листы, а также указан входной класс объектов или классифицированный растр.
Режим кадрирования	Определяет, будут ли экспортированные листы обрезаться, чтобы быть одинакового размера. Фиксированный размер - экспортированные листы будут одного размера и будут центрированы на объектах. Используется по умолчанию. Ограничивающий прямоугольник - экспортированные листы будут обрезаны таким образом, чтобы ограничивающая геометрия окружала только объект внутри листа. Этот параметр применяется только в случае, когда для параметра Формат метаданных задано Отмеченные листы или Imagenet, а также указан входной класс объектов или классифицированный растр.
Система привязки	Определяет тип системы привязки, которая будет использоваться при интерпретации входного изображения. Указанная система привязки по возможности должна совпадать с привязкой, которая использовалась для тренировки модели глубокого обучения. Пространство карты - входное изображение находится в системе координат карты. Используется по умолчанию. Пиксельное пространство - входное изображение находится в пространстве изображения (строки и столбцы), без поворота и искажения.
Дополнительный входной растр	Дополнительный источник входных изображений для методов преобразования изображений. Этот параметр действителен, если для параметра Формат метаданных установлено значение Классифицированные листы, Экспорт листов или CycleGAN.

Экспортированные обучающие данные теперь можно использовать в модели глубокого обучения.

Связанные разделы

• Создание меток и управление ими

• Ресурсы данных модели глубокого обучения

• Глубокое обучение с использованием дополнительного модуля ArcGIS Image Analyst

• Экспорт обучающих данных для глубокого обучения

• Просмотр меток и обучающих данных

• Просмотреть результаты глубокого обучения