Как работает инструмент Извлечь эмбеддинги в поля
Рабочие процессы в ArcGIS Pro всё чаще включают в себя базовые модели, которые генерируют числовые представления — так называемые эмбеддинги, предназначенные для описания сложных пространственных объектов, таких как изображения, текст или другие многомерные данные. Эти эмбеддинги фиксируют скрытые закономерности, изученные моделью, и широко используются для анализа сходства, кластеризации, классификации и исследовательской аналитики.
Когда эмбеддинги строятся в ArcGIS Pro с помощью инструмента Создать эмбеддинги с помощью моделей ИИ, они по умолчанию упаковываются в поле бинарного большого объекта (BLOB). Этот формат обеспечивает эффективное хранение и передачу многомерных числовых векторов, но не может быть напрямую использован многими инструментами геообработки. Инструмент Извлечь эмбеддинги в поля преобразует эти бинарные представления в отдельные числовые поля, чтобы измерения эмбеддингов можно было использовать напрямую в рабочих процессах ArcGIS Pro.
Возможное применение
Инструмент Извлечь эмбеддинги в поля можно использовать в следующих сценариях:
Запуск анализа главных компонент или других методов снижения размерности для извлеченных полей с целью создания компактных, некоррелированных признаков, подходящих для инструментов, которые требуют меньших и более стабильных наборов предикторов, с использованием инструмента Уменьшение измерений. Это обычный подготовительный шаг перед кластеризацией или регрессией.
Подготовка эмбеддингов объектов, созданных с помощью глубокого обучения, для использования в таких инструментах, как Многофакторная кластеризация, Пространственно-ограниченная многофакторная кластеризация или Поиск сходства.
Включение исследовательского анализа размерностей эмбеддинга с помощью диаграмм, статистики или символов.
Поддержка последующих рабочих процессов моделирования, таких как регрессия или классификация, требующих числовых атрибутов, а не бинарных полей. Например, инструментов Классификация на основе леса и регрессия, Географически взвешенная регрессия (ГВР), Пространственная авторегрессия.
Обеспечение доступа к данным эмбеддингов для тех, кто не знаком с двоичными или сериализованными форматами.
Например, специалист по анализу данных может сгенерировать эмбеддинги на основе спутниковых снимков, используя базовую модель компьютерного зрения. Эти эмбеддинги кодируют текстуру, форму и контекстную информацию, полученную моделью. Расширение эмбеддингов позволяет ГИС-аналитикам кластеризовать контуры изображений или определять пространственные закономерности, используя знакомые инструменты ArcGIS Pro.
Поле эмбеддингов
Эмбеддинги, сгенерированные базовыми моделями, хранятся в BLOB. Для получения дополнительной информации о том, как эмбеддинги представлены в ArcGIS Pro, см. Эмбеддинги в виде полей BLOB-.
Такой подход сводит к минимуму нагрузку на хранилище и повышает производительность чтения и записи, особенно для больших наборов данных с многомерными эмбеддингами. Хотя этот бинарный формат эффективен, он предотвращает прямое использование значений эмбеддингов в инструментах, ожидающих числовые поля.
Префикс выходного поля
Инструмент Извлечь эмбеддинги в поля обращает процесс упаковки эмбеддингов и преобразует (выводит) каждое измерение эмбеддинга в виде числового атрибута.
Инструмент выполняет следующие операции:
Читает входные объекты и проверяет выбранное
Embeddingполе.Копирует значение параметра Входные объекты в значение параметра Выходные объекты.
Десериализирует первую действительную запись BLOB для определения размерности эмбеддинга.
Создает поле Float32 для каждого измерения эмбеддинга при помощи значения параметра Префикс выходного поля.
Проходит по всем объектам, распаковывает бинарные данные и записывает каждое значение float в соответствующее поле.
Например, при значении параметра Префикс выходного поля embed эмбеддинги с 256 измерениями приведут к 256 новым числовым полям с десериализированными записями BLOB. Таблица атрибутов выходных данных будет выглядеть следующим образом:
Рекомендации
Используйте инструмент Извлечь эмбеддинги в поля, когда измерения эмбеддингов необходимы в виде числовых полей для анализа, визуализации, соединений или инструментов, не поддерживающих компактные эмбеддинги (BLOB/вектор). Учитывайте следующее при извлечении эмбеддингов в отдельные измерения для обеспечения стабильности и эффективности рабочих процессов.
Некоторые базы данных имеют строгие ограничения по столбцам — например, PostgreSQL поддерживает до ~1600 полей в таблице. Расширение больших эмбеддингов может превысить эти ограничения или снизить производительность из-за слишком большого размера системных таблиц. Сократите количество извлекаемых полей при работе с многопользовательскими базами данных.
Очень широкие таблицы могут привести к длительному времени обработки или исчерпанию памяти — даже на машинах с большим объемом памяти. Тестируйте рабочие процессы на меньших поднаборах, при необходимости сократите число измерений и избегайте ненужного расширения эмбеддингов с очень большим количеством измерений.
Многие инструменты регрессии и кластеризации, такие как Обобщенная линейная регрессия, не подходят для входных данных с множеством измерений. Используйте инструмент Уменьшение измерений, чтобы объединить эмбеддинги в меньший набор компонентов перед последующим анализом. Это улучшает производительность, избегает мультиколлинеарности и повышает интерпретируемость.
Многомерные эмбеддинги могут создать большое число полей. Используйте чёткий, лаконичный Префикс выходного поля и сохраняйте идентификаторы или категориальные поля из исходного набора данных, чтобы помочь интерпретировать результаты анализа.
Выходной класс объектов сохраняет исходное поле BLOB
Embeddingвместе с извлечёнными числовыми полями. Это позволяет сохранить исходный сериализованный эмбеддинг, одновременно включая рабочие процессы числового анализа в ArcGIS Pro. Также поле сериализированного эмбеддинга используется для инструментов анализа на основе эмбеддингов, таких как Найти схожие объекты с помощью эмбеддингов.