Skip to main content

Экспорт обучающих данных для глубокого обучения (Инструменты Spatial Analyst)

Краткая информация

Конвертирует надписанные векторные или растровые данные в наборы данных глубокого обучения с использованием спутникового изображения. Инструмент создает папку чипов изображений и папку файлов метаданных в определенном формате.

Использование

  • Этот инструмент будет создавать учебные наборы данных для поддержки приложений, созданных сторонними производителями для глубокого обучения, например PyTorch, CNTK и другие.

  • Обучающие выборки для глубокого обучения формируются на основе небольших фрагментов изображений, называемых - фрагменты изображения, которые содержат объект или класс интереса.

  • Используйте ваши собственные классификационные обучающие данные или классы пространственных объектов ГИС, например, слой контуров зданий, для создания фрагментов изображений, содержащих выборки классов из вашего исходного изображения. Как правило размеры фрагмента изображения составляют 256 строк на 256 столбцов пикселов, если обучающая выборка не больше. Каждый фрагмент изображения может содержать один или несколько объектов. Если используется опция Отмеченные листы Формата метаданных, то в каждом фрагменте изображения может быть только один объект.

  • Если задать параметр Система привязки, то данные обучения можно экспортировать в пространство карты или пространство пикселов для использования в обучении модели глубокого обучения.

  • Этот инструмент поддерживает экспорт данных обучения из набора изображений. Вы можете добавить папку с изображениями в качестве параметра Входной растр. Если ваш Входной растр представляет собой набор данных мозаики или сервис изображений, вы также можете задать Режим обработки, чтобы обработать мозаику как в качестве единого входного параметра, так и по отдельности для каждого растрового элемента.

  • При использовании сервиса изображений в качестве Входного растра инструмент учитывает ограничения атрибутов maxImageHeight и maxImageWidth сервиса изображений, которые определяют максимальное число строк и столбцов, которое сервис допускает в клиентском запросе. Если это ограничение превышается, инструмент завершится с ошибкой.

  • Размер ячейки и экстент можно настроить с помощью параметров среды геообработки.

  • Инструмент учитывает параметр среды Коэффициент параллельной обработки. Если параметр среды не указан, инструмент будет работать на одном ядре. При использовании больших наборов данных установите параметр среды на количество ядер, которое инструмент может использовать для распределения рабочей нагрузки.

  • Информацию о требованиях к запуску этого инструмента и проблемах, с которыми вы можете столкнуться, см. в разделе Часто задаваемые вопросы по глубокому обучению.

Параметры

Подпись Объяснение Тип данных

Входной растр

Входное исходное изображение, обычно мультиспектральный снимок.

В качестве входных изображений могут быть мультиспектральные спутниковые снимки, снимки с БПЛА, или снимки National Agriculture Imagery Program (NAIP). Входными данными может быть папка с изображениями.

Raster Dataset; Raster Layer; Mosaic Layer; Image Service; Map Server; Map Server Layer; Internet Tiled Layer; Folder

Выходная папка

Папку для записи выходных фрагментов изображений и хранения метаданных.

Папку также можно задать как URL-адрес папки, который использует файл подключения к облачному хранилищу (*.acs).

Folder

Входной класс объектов или Классифицированный растр или Таблица

Данные обучающей выборки - векторные или растровые. Входные векторные данные должны соответствовать формату обучающих выборок, создаваемых с помощью инструментов панели Менеджер обучающей выборки. Входные растровые данные должны соответствовать формату классифицированного растра, создаваемого инструментом Классифицировать растр.

Входные растровые данные также могут поступать из папки классифицированных растров. Для классифицированного растра необходима соответствующая таблица атрибутов растра. Входные таблицы должны соответствовать формату обучающих выборок, создаваемых с помощью кнопки Отметить объекты для глубокого обучения на панели Менеджер обучающей выборки. При следовании соответствующему формату образца выборки будут получены оптимальные результаты со статистической информацией. Однако входными данными также может быть точечный класс объектов без поля со значениями классов, либо целочисленный растр, в котором нет информации о классах.

Feature Class; Feature Layer; Raster Dataset; Raster Layer; Mosaic Layer; Image Service; Table; Folder

Формат изображения

Задает формат растра, который будет использоваться для выходных фрагментов изображения.

Форматы PNG и JPEG поддерживают до трёх каналов.

  • Формат TIFFБудет использоваться формат TIFF.

  • Формат PNGБудет использоваться формат PNG.

  • Формат JPEGБудет использоваться формат JPEG.

  • MRF (Формат Мета Растр)Будет использован формат Meta Raster (MRF)

String

Размер листа по X

(Дополнительный)

Размер фрагментов изображений по измерению X.

Long

Размер листа по Y

(Дополнительный)

Размер фрагментов изображений по измерению Y.

Long

Шаг по X

(Дополнительный)

Расстояние для смещения по направлению Y, при создании следующих фрагментов изображения.

Когда шаг равен размеру листа, наложения (перекрытия) не будет. Если шаг равен половине размера листа, величина перекрытия будет равна 50.

Long

Шаг по Y

(Дополнительный)

Расстояние для смещения по направлению Y, при создании следующих фрагментов изображения.

Когда шаг равен размеру листа, наложения (перекрытия) не будет. Если шаг равен половине размера листа, величина перекрытия будет равна 50.

Long

Выходные листы Нет объектов

(Дополнительный)

Определяет, будут ли экспортироваться фрагменты изображения, не захватывающие обучающие выборки.

Если отмечено, фрагменты изображений, не захватывающие отмеченные данные, также будут экспортироваться. Если не отмечено, эти фрагменты изображений не будут экспортироваться.

  • ОтмеченоЭкспортируются все фрагменты, включая те, которые не захватывают обучающие выборки.

  • Не отмеченоЭкспортируются только фрагменты изображений, которые захватывают обучающие выборки. Используется по умолчанию.

Boolean

Формат метаданных

(Дополнительный)

Указывает формат, который будет использоваться для выходных меток метаданных.

Если входные данные обучающей выборки представляют собой слой класс пространственных объектов, например слой зданий или стандартный файл классификации обучающих выборок, используйте параметр Метки KITTI или Классы визуальных объектов PASCAL (KITTI_rectangles или PASCAL_VOC_rectangles в Python). Выходные метаданные – это файл .txt или .xml, содержащий данные обучающих выборок, которые попадают в минимальный ограничивающий прямоугольник. Имя файла метаданных соответствует имени входного изображения-источника. Если ваши входные данные обучающих выборок – карта классов, используйте опцию Классифицированные листы (Classified_Tiles в Python) в качестве выходного формата метаданных.

Для формата метаданных KITTI создается 15 столбцов, но только 5 из них будут использованы инструментом. Первый столбец – значение класса. Следующие 3 столбца пропускаются. Столбцы 5-8 задают минимальный ограничивающий прямоугольник, который состоит из четырех местоположений координат изображения: левый, верхний, правый и нижний пиксел, соответственно. Минимальный ограничивающий прямоугольник определяет обучающий фрагмент изображения, который используется классификатором глубокого обучения. Остальные столбцы не используются.

  • Метки KITTIМетаданные соответствуют формату Karlsruhe Institute of Technology and Toyota Technological Institute (KITTI) Object Detection Evaluation dataset. Набор данных KITTI представляет собой набор зрительных тестов. Файлы меток – это файлы с простым текстом. Все значения, как числовые так и строковые, разделены пробелами, и каждая строка соответствует одному объекту. Этот формат используется для обнаружения объектов.

  • Классы визуальных объектов PASCALМетаданные соответствуют формату набора данных Pattern Analysis, Statistical Modeling and Computational Learning, Visual Object Classes (PASCAL_VOC) dataset. Набор данных PASCAL VOC – стандартизированные данные изображений, предназначенные для распознавания объектных классов. Файлы меток хранятся в формате XML и содержат информацию об имени изображения, значении класса и ограничивающих прямоугольниках. Этот формат используется для обнаружения объектов. Используется по умолчанию.

  • Классифицированные листыВыходными данными будет один классифицированный фрагмент изображения на один входной фрагмент изображения. Другие метаданные для фрагментов изображений не используются. Только выходные данные статистики содержат больше информации для классов, включая имя класса, значение класса и выходную статистику. Этот формат в первую очередь используется для классификации пикселов. Этот формат также используется для выявления изменений, если выходными данными будет один фрагмент классифицированного изображения из двух фрагментов изображения.

  • Маски RCNNВыходными данными будет фрагмент изображения, имеющий маску в областях, где присутствует образец. Модель генерирует ограничивающие рамки и маски сегментации для каждого экземпляра объекта на изображении. Этот формат основан на Feature Pyramid Network (FPN) и опорной сети ResNet101 в модели глубокого обучения. Этот формат используется для выявления объектов, однако его также можно использовать для отслеживания объектов, если во время обучения используется тип модели Siam Mask, а также для классификации пикселов временных рядов, если используется архитектура PSETAE.

  • Отмеченные листыКаждый выходной лист будет отмечен по определенному классу. Этот формат используется для классификации объектов.

  • Листы с несколькими меткамиКаждый выходной лист будет отмечен одним или несколькими классами. Например, лист может быть отмечен как "сельскохозяйственные земли" и "облачно". Этот формат используется для классификации объектов.

  • Экспорт листовВыходными данными будут фрагменты изображений без меток. Этот формат используется для методов преобразования изображений, таких как Pix2Pix и Super Resolution.

  • CycleGANВыходными данными будут фрагменты изображений без меток. Этот формат используется для метода преобразования изображений CycleGAN, который используется для обучения не перекрывающихся изображений.

  • ImagenetКаждый выходной лист будет отмечен по определенному классу. Этот формат используется для классификации объектов, но также может быть использован для отслеживания объектов, если тип модели Deep Sort используется для обучения.

  • Паноптическая сегментацияВыходными данными будет один классифицированный фрагмент изображения и один экземпляр на каждый входной фрагмент изображения. Выходными данными также будет фрагмент изображения с маской в областях, где присутствует образец, эти фрагменты будут храниться в другой папке. Этот формат используется для классификации пикселов и сегментации экземпляра, поэтому будут созданы две выходные папки labels.

String

Начальный индекс

(Дополнительный)
Прежние версии:

Этот параметр больше не используется.

Long

Поле значений класса

(Дополнительный)

Поле, содержащее значения классов. Если поле не указано, система ищет поле -->value or classvalue<!--. Поле должно быть числовым, обычно целочисленным. Если объект не содержит поле класса, система определяет, что все записи относятся к одному классу.

Field

Радиус буфера

(Дополнительный)

Радиус буфера вокруг каждой обучающей выборки для разграничения областей обучающих выборок. Это позволяет создавать круглые полигоны обучающих выборок для точек.

Используются единицы измерения пространственной привязки значения параметра Входной класс объектов или Классифицированный растр или Таблица.

Double

Входные полигоны маски

(Дополнительный)

Это класс полигональных объектов, которые очерчивают области, где будут создаваться фрагменты изображений.

Будут создаваться только те фрагменты изображений, которые находятся полностью внутри полигонов.

Feature Layer

Угол поворота

(Дополнительный)

Угол поворота, который будет использоваться для построения дополнительных фрагментов изображений.

Сначала будет создан фрагмент изображения без поворота. Затем он будет повернут на указанный угол для создания дополнительных фрагментов изображения. Изображение будет поворачиваться и фрагмент будет создаваться до тех пор, пока он не будет повернут полностью. Например, если указать угол поворота 45 градусов, инструмент создаст восемь фрагментов изображения. Восемь фрагментов изображения будут созданы под следующими углами: 0, 45, 90, 135, 180, 255, 270 и 315.

Угол поворота по умолчанию равен 0, при этом создается один фрагмент изображения по умолчанию.

Double

Система привязки

(Дополнительный)

Определяет тип системы привязки, которая будет использоваться при интерпретации входного изображения. Указанная система привязки по возможности должна совпадать с привязкой, которая использовалась для тренировки модели глубокого обучения.

  • Пространство картыБудет использоваться основанная на карте система координат. Используется по умолчанию.

  • Пиксельное пространствоКоординаты пиксельного пространства, основанные на строках и столбцах, будут использованы без вращения и искажений.

String

Режим обработки

(Дополнительный)

Задает как будут обработаны все растровые элементы в наборе данных мозаики или сервисе изображений. Этот параметр применяется только в том случае, если в качестве входных данных используется наборы данных мозаики или сервис изображений.

  • Обработка как мозаики изображенийВсе растровые элементы в наборе данных мозаики или сервисе изображений будут объединены в мозаику и обработаны. Используется по умолчанию.

  • Обработка всех растровых элементов отдельноВсе растровые элементы в наборе данных мозаики или сервисе изображений будут обработаны как отдельные изображения.

String

Объект с затемнением вокруг

(Дополнительный)

Указывает, будут ли закрыты маской пикселы вокруг каждого объекта или элемента в каждом листе изображения.

Этот параметр применяется только в случае, когда для параметра Формат метаданных указано Отмеченные листы, а также указан входной класс объектов или классифицированный растр.

  • ОтмеченоПикселы, окружающие объекты или явления, затемнены не будут.

  • Не отмеченоПикселы, окружающие объекты или явления, затемнены не будут. Используется по умолчанию.

Boolean

Режим кадрирования

(Дополнительный)

Определяет, будут ли экспортированные листы обрезаться, чтобы быть одинакового размера.

Этот параметр применяется только в случае, когда для параметра Формат метаданных задано Отмеченные листы или Imagenet, а также указан входной класс объектов или классифицированный растр.

  • Фиксированный размерЭкспортированные листы будут одинакового размера и будут центрированы на объектах. Используется по умолчанию.

  • Ограничивающий прямоугольник:Экспортированные листы будут обрезаны таким образом, чтобы ограничивающая геометрия окружала только объект внутри листа.

String

Дополнительный входной растр

(Дополнительный)

Дополнительный источник входных изображений для методов преобразования изображений.

Этот параметр применяется в случае, когда в качестве Формата метаданных указаны Классифицированные листы, Экспорт листов или CycleGAN.

Raster Dataset; Raster Layer; Mosaic Layer; Image Service; Map Server; Map Server Layer; Internet Tiled Layer; Folder

Класс объектов экземпляра

(Дополнительный)

Собранные данные обучающей выборки, которые содержат классы для сегментации экземпляра.

Входными данными также может быть точечный класс объектов без поля со значениями классов, либо целочисленный растр, в котором нет информации о классах.

Этот параметр корректен только в тех случаях, когда для параметра Формат метаданных задано значение Паноптическая сегментация.

Feature Class; Feature Layer; Raster Dataset; Raster Layer; Mosaic Layer; Image Service; Table; Folder

Поле значений класса экземпляра

(Дополнительный)

Поле, содержащее значения классов для сегментации экземпляра. Если поле не задано, инструмент будет использовать поля значения или поле значения класса, если есть. Если объект не содержит поле класса, инструмент определит, что все записи относятся к одному классу.

Этот параметр действителен, только если для параметра Формат метаданных задано значение Паноптическая сегментация.

Field

Минимальный коэффициент перекрытия полигонов

(Дополнительный)

Минимальный процент перекрытия для объекта, включенного в обучающие данные. Если процент перекрытия меньше заданного значения, объект будет исключен из обучающего фрагмента и не будет добавляться в файл надписи.

Значение процента выражено десятичным числом. Например, чтобы задать перекрытие в 20 процентов, используйте значение 0.2. Значение по умолчанию равно 0, т.е. будут включены все объекты.

Этот параметр повышает производительность инструмента, а также улучшает вывод. Скорость обработки увеличивается, т.к. создается меньше обучающих фрагментов. Скорость вывода повышается, т.к. модель обучается для определения только больших фрагментов объектов, небольшие углы игнорируются. Это ​​означает, что будет обнаружено меньше ложных срабатываний, и меньше ложных срабатываний будет удалено инструментом Не максимальное подавление.

Этот параметр активен, когда значением параметра Входной класс объектов или Классифицированный растр или Таблица является класс объектов.

Double

Параметры среды

Размер ячейки, Текущая рабочая область, Экстент, Коэффициент параллельной обработки, Временная рабочая область

Информация о лицензировании

  • Basic: Требуется Spatial Analyst или Image Analyst
  • Standard: Требуется Spatial Analyst или Image Analyst
  • Advanced: Требуется Spatial Analyst или Image Analyst