Управление и хранение изображений и растровых данных

Данные изображений обычно обрабатываются для создания форм, которые могут обрабатываться "на лету" или сохраняться в другой обновленной версии. Наборы данных изображений, а также их совокупности, зачастую очень велики, поэтому очень важно правильное управление ими. ArcGIS Pro предназначен для этого.

Структуры изображений и растровых данных и модели хранения

Есть три способа хранения изображения и растровых данных: в виде файлов в файловой системе, в базе геоданных или хранение в файлах с управлением из базы геоданных. При выборе способа хранения также следует определить, будут ли храниться все данные в едином наборе растровых данных или в каталоге, в котором можно разместить большое количество растровых наборов данных. Если вы храните данные в файловой системе, вы храните наборы растровых данных. В базе геоданных можно хранить наборы растровых данных и наборы данных мозаики.

Набор растровых данных

Большинство изображений и растровых данных (таких как ортоизображения или ЦМР) хранятся в виде набора растровых данных. Термин "набор растровых данных" обозначает любую модель растровых данных, хранящуюся на диске или доступную как отдельное изображение из облачного хранилища. Набор - это самая базовая модель хранения растровых данных, на которой построены другие – например, наборы данных мозаики основаны на наборах растровых данных. Также, они используются как выходные данные многих инструментов геообработки, работающих с растрами.

Набор растровых данных – любое поддерживаемое изображение или растровый формат, организованный в один или несколько каналов. Каждый канал состоит из массива пикселов, каждый пиксел имеет некое значение. Изображение или набор растровых данных имеет как минимум один канал. ArcGIS Pro поддерживает более 70 форматов файлов для наборов растровых данных, включая TIFF, JPEG 2000, Cloud Raster Format (CRF) и NITF.

Набор данных мозаики

Набор данных мозаики – совокупность наборов растровых данных (изображений), хранящаяся как коллекция изображений и отображаемая как единое мозаичное изображение или отдельные изображения (растры). Эти коллекции могут быть очень большими, как по размеру файлов, так и по количеству наборов данных. Изображения в наборе данных мозаики могут оставаться в исходном формате на диске или находиться в базе геоданных. Метаданными можно управлять в записи изображения, так же как и атрибутами в таблице атрибутов. Хранение метаданных в качестве атрибутов позволяет использовать такие параметры, как облегченное управление данными сенсора ориентации, а также позволяет выполнять быстрые запросы для выборок.

Отдельные изображения и метаданные составляют наборы данных мозаики.

Данные в наборе данных мозаики не обязательно должны быть смежными или перекрывающимися, но могут существовать как не соединенные, прерывающиеся наборы данных. Например, могут быть изображения, полностью покрывающие площадь, или может быть много полосок изображений, которые могут быть не соединены для формирования непрерывного изображения (например, вдоль трубопроводов).

Данные могут полностью или частично перекрываться, но получены в разное время. Набор данных мозаики – это идеальный набор данных для хранения временных данных. Вы можете как делать к набору данных мозаики запросы изображений на основе времени или даты, так и использовать метод мозаики для отображения мозаичного изображения в соответствии с атрибутом даты или времени.

Наборы данных мозаики не ограничены одним определенным типом данных изображения. Можно добавлять данные изображений от многих систем сенсоров в различных проекциях, в разных разрешениях, с разной глубиной пикселов и разным числом каналов. Для всей коллекции данных можно построить обзорные изображения. Это позволяет быстрее просматривать данные и ускоряет работу с этими наборами данных. Также имеются дополнительные свойства для просмотра, включая задание метода мозаики, которые делают эти наборы данных уникальными и функциональными во многих ситуациях. Кроме того, вы можете выполнять запросы к наборам данных мозаики на основе пространственных и непространственных ограничений. Результатами этого запроса может стать как набор изображений, которые можно обрабатывать по одному, так и динамически созданное мозаичное изображение.

В добавлении к данным изображений, вы можете хранить и управлять данными лидара в наборе данных мозаики, так же как и наборами данных изображений, и даже вместе с наборами данных изображений. Данные лидара можно хранить в файловой системе в виде файлов .las или наборов данных LAS, а также в базе геоданных в виде набора данных Terrain.

Наборы данных мозаики зависят от версии ArcGIS, в которой он и были построены, они совместимы между приложениями платформы ArcGIS в рамках одной версии. Обычно наборы данных мозаики, созданные в более ранней версии ArcGIS можно прочитать и использовать с помощью более новых версий ArcGIS. Однако наборы данных мозаики, созданные в более новых версиях ArcGIS не всегда могут быть обратно совместимы с предыдущими версиями. См. таблицу ниже о совместимости наборов данных мозаики:

Версия ArcGIS	Версия ArcGIS Enterprise, ArcGIS Server и ArcMap	Версия ArcGIS AllSource
Pro 3.7	12.1	AllSource 1.6
Pro 3.6	12.0	AllSource 1.5
Pro 3.5	11.5	AllSource 1.4
Pro 3.4	11.4	AllSource 1.3
Pro 3.3	11.3	AllSource 1.2
Pro 3.2	11.2	AllSource 1.1
Pro 3.1	11.1	AllSource 1.0
Pro 3.0	11.0
Pro 2.9	10.9.1
Pro 2.8	10.9
Pro 2.7	10.9

Сравнение моделей хранения растровых данных

Хранение наборов данных изображений по отдельности часто является наилучшим способом, если изображения не совпадают в пространстве или редко используются в одном проекте. Соединение вместе входной мозаики для формирования одного большого экстента файлов данных изображений подходит для многих приложений, но набор данных мозаики может оказаться предпочтительнее по следующим причинам:

• Экстенты изображений частично или полностью перекрываются, при этом общие области необходимо сохранить.

• Во временных сериях наборы данных изображений представляют коллекцию наблюдений одной области в разное время.

• Необходимо отобразить только изучаемую область, а не всю коллекцию изображений.

• Вы хотите управлять коллекцией изображений как интегрированным набором, но при этом сохранить индивидуальный статус каждого изображения.

• Вы хотите записывать и управлять дополнительными столбцами атрибутов, в которых будет описываться каждое изображение.

Сравнение моделей хранения растровых данных

Сравнение моделей хранения растровых данных

	Набор растровых данных	Набор данных мозаики
Описание	Одно изображение объекта или бесшовное изображение, охватывающее пространственно непрерывную область. Это может быть одно исходное изображение или изображение, полученное путем слияния нескольких более мелких (мозаика).	Группа наборов данных изображений, хранящаяся как коллекция, что позволяет хранить, управлять, просматривать и делать запросы к коллекциям растровых данных и данных лидара. Он просматривается в виде мозаичного изображения, но у вас есть доступ к каждому набору растровых данных, как к элементу коллекции.
Хранение	В виде файла на диске или в базе геоданных.	В базе геоданных, но может содержать ссылку на источник данных, который хранится в файле на диске.
Гомогенные или гетерогенные данные	Гомогенные данные: один формат, тип данных и файл.	Гетерогенные данные: несколько форматов, типов данных, различные размеры файлов и системы координат.
Метаданные	Записываются один раз и описывают весь набор данных.	Могут храниться в записи растра и как атрибуты в атрибутивной таблице.
Наборы данных с пониженным разрешением	Пирамидные слои всего набора данных изображений.	Пирамидные слои для каждого набора данных изображений, так же как и обзорные изображения для всей коллекции.
Геообработка и анализ изображений	Как источник данных во многих инструментах геообработки и анализа, включая растровые функции и RFT.	Как источник данных во многих инструментах геообработки и анализа, включая растровые функции и RFT.
Плюсы	Быстрое отображение при любом масштабе. Может быть перемещен как один файл в базе геоданных.	Управляет большими коллекциями данных изображений. Имя и формат входных изображений сохраняются. Быстрое отображение на любом масштабе. Отсутствие потери данных при создании мозаики. Пользователь имеет доступ ко всему содержимому коллекции. Можно настроить свойства для управления отображением мозаики. Обработка «на лету».
Недостатки	Наборы данных изображений файловой базы геоданных обновляются медленнее, так как весь файл должен быть перезаписан. Исходное имя и формат файла теряются при создании. В зависимости от размера файла и сжатия входных изображений размер выходного файла может быть намного больше, чем у входных данных. Создание отдельных файлов может происходить медленно.	Создание обзорных изображений может занять некоторое время. Если исходные изображения перемещаются в новое местоположение файлов, ссылки в наборе данных мозаики необходимо скорректировать.
Предоставление доступа	Предоставляется напрямую как сервис изображений.	Предоставляется напрямую как сервис изображений.
Рекомендации	Используйте наборы растровых данных, когда перекрытия между мозаичными изображениями не нужно сохранять, а также для быстрого отображения больших объемов данных изображений.	Используйте набор данных мозаики для управления и визуализации данных изображений и лидара. Он хорошо подходит для многомерных данных, выполнения запросов, хранения метаданных и перекрывающихся данных, а также представляет собой гибридное решение.

Хранение растровых данных в базе геоданных

Храните растровые данные в базе геоданных, когда необходимо управлять изображениями, добавлять поведение и контролировать схему; когда необходимо управлять четко определенным набором наборов растровых данных как частью системы управления базами данных (СУБД); а также когда требуется единая архитектура для управления всеми ресурсами. Существует два основных типа баз геоданных: многопользовательские и файловые.

Многопользовательская база геоданных может поддерживать несколько операций в своей СУБД. Файловые базы геоданных предназначены для редактирования одним пользователем и не поддерживают версионирование. Они находятся в директории вашей файловой системы, поэтому для доступа к ним не требуется пароль. Файловые базы геоданных и многопользовательские базы геоданных используют одну и ту же базовую схему хранения.

Примечание:

Функциональное поведение каждой базы геоданных в основном одинаково, однако существуют некоторые исключения для определенных инструментов или процедур. Для получения информации о различиях в поведении инструмента или процедуры обратитесь к соответствующему разделу справки по этому инструменту или процедуре.

Сравнение хранения растров в файловых и многопользовательских базах геоданных

Сравнение файловых и многопользовательских баз геоданных

Характеристика хранения растров	Файловая база геоданных	Многопользовательская база геоданных
Ограничение размера	1 терабайт (ТБ) для каждого набора растровых данных	Не ограничено; ограничение зависит от ограничений СУБД
Формат файла набора растровых данных	Набор растровых данных файловой базы геоданных	Набор растровых данных многопользовательской базы геоданных
Хранение	Набор растровых данных: управляемый Набор данных мозаики: неуправляемый	Набор растровых данных: управляемый Набор данных мозаики: неуправляемый
	Хранится в файловой системе	Хранится в реляционной СУБД
Сжатие	LZ77, JPEG, JPEG 2000 или отсутствует	LZ77, JPEG, JPEG 2000 или отсутствует
Пирамидные слои	Поддерживает частичные пирамидные слои	Поддерживает частичные пирамидные слои
Создание мозаики	Позволяет добавлять данные в набор растровых данных при создании мозаики	Позволяет добавлять данные в набор растровых данных при создании мозаики
Обновление	Позволяет выполнять пошаговое обновление	Позволяет выполнять пошаговое обновление
Количество пользователей	Один пользователь и небольшие рабочие группы; несколько читателей и один писатель	Многопользовательский режим; много пользователей и много писателей

Таблица блоков растра в базе геоданных

Растровые данные обычно намного больше по размеру, чем объекты, и требуют дополнительной таблицы для хранения. Например, типичное панхроматическое ортоизображение может иметь 20 000 строк на 20 000 столбцов (400 миллионов значений пикселей) и более.

Для оптимизации производительности при работе с большими наборами растровых данных растр базы геоданных делится на более мелкие листы (называемые блоками) с типичным размером примерно 128 строк на 128 столбцов или 256 строк на 256 столбцов. Эти меньшие блоки затем хранятся в дополнительной таблице для каждого растра. Каждый отдельный лист хранится в отдельной строке в таблице блоков, как показано ниже.

Эта структура означает, что при необходимости извлекаются только блоки для экстента, а не все изображение целиком. Кроме того, пересчитанные блоки, используемые для построения пирамидных слоев растра, могут храниться и управляться в той же таблице блоков в качестве дополнительных строк.

Это позволяет управлять изображениями огромных размеров в СУБД, обеспечивая очень высокую производительность. СУБД также обеспечивает безопасный многопользовательский доступ.

Файловая база геоданных

Модель хранения файловой базы геоданных аналогична модели многопользовательской базы геоданных, которая хранит данные в блоках.

Это обеспечивает более эффективный доступ к данным — особенно во время операции мозаики. При создании мозаики данных в файловой базе геоданных обновляются только перекрывающиеся блоки. Если перекрывающийся блок не существует, вставляется новый блок. Частичные блоки заполняются пикселами NoData. Кроме того, модель хранения файловой базы геоданных (и многопользовательской) использует частичные обновления пирамидных слоев, что экономит время. Структуры данных файловых и многопользовательских баз геоданных одинаковы — для копирования и вставки данных между ними используется технология быстрого копирования.

Файловые базы геоданных принимают ключевые слова конфигурации, но, в отличие от многопользовательских баз геоданных, ключевые слова конфигурации имеют стандартное предопределенное значение. Для получения дополнительной информации о ключевых словах конфигурации см. Ключевые слова конфигурации для файловых баз геоданных.

Многопользовательская база геоданных

Когда растровые данные хранятся в многопользовательской базе геоданных, они обеспечивают функциональность корпоративного уровня, такую как безопасность, многопользовательский доступ и совместное использование данных. Существует три основные причины для хранения растровых данных в многопользовательской базе геоданных:

• Они не будут обновляться регулярно (например, каждые два-три года или реже).

• Доступ к ним будет осуществляться в сценариях только для чтения (например, использование в качестве данных базовой карты под векторными данными).

• Сотни пользователей (или более) будут получать к ним доступ как к базовой карте.

Из-за своей структуры хранения растровые данные считаются управляемыми или полностью контролируемыми базой геоданных. Многопользовательские базы геоданных хранят всю растровую информацию (пикселы, пространственную привязку, любые связанные таблицы и другие метаданные) для наборов растровых данных и атрибутов растра в связанной реляционной базе данных. Это означает, что вся входная растровая информация загружается в базу данных, и это можно рассматривать как конвертацию формата.

Многопользовательская база геоданных равномерно разбивает каналы на блоки пикселов в соответствии с заданным пользователем размером (по умолчанию 128 на 128). Разбиение данных каналов изображения на листы обеспечивает эффективное хранение и извлечение растровых данных. Информация о пирамидных слоях хранится в соответствии с убывающим разрешением. Высота пирамиды определяется количеством уровней, указанным приложением или пользователем.

Таблица блоков растра (самая большая таблица, в которой хранится информация о пикселах и пирамидных слоях) содержит по одной строке на блок (лист) на канал в наборе растровых данных и на уровень пирамиды. Например, трехканальное изображение, разделенное на 12 блоков без построенных пирамидных слоев, будет иметь 36 строк в таблице BLK — по 12 отдельных блоков для каждого из каналов. Столбец, содержащий данные пикселов для блока, представляет собой большой двоичный объект (BLOB).

Сжатие, пирамидные слои и размер листа

При хранении и управлении растровыми данными необходимо учитывать и другие структуры хранения, включая сжатие, наборы данных с уменьшенным разрешением (пирамидные слои и обзорные изображения) и размер листа.

Сжатие

Существует два типа сжатия: без потерь и с потерями. Сжатие без потерь означает, что значения пикселов в наборе растровых данных не изменяются, тогда как сжатие с потерями приводит к изменению значений пикселов. Степень сжатия зависит от типа пиксельных данных; чем более однородно изображение, тем выше коэффициент сжатия. Данные, которые будут использоваться для анализа, а не только для отображения, следует хранить с использованием сжатия без потерь. Основное преимущество сжатия данных заключается в том, что для них требуется меньше места в хранилище; объем экономии зависит от метода сжатия и избыточности данных. Дополнительным преимуществом является значительное повышение производительности, поскольку передается меньше пакетов данных. Например, при доступе к данным изображений по сети с низкой пропускной способностью использование сжатия может повысить производительность, поскольку объем передаваемой информации уменьшается, что позволяет хранить большие бесшовные наборы данных изображений и быстро предоставлять их клиенту для отображения.

Наборы данных мозаики также поддерживают сжатие. Это предназначено не для хранения управляемого набора данных изображений, а для сжатия, применяемого к создаваемому им изображению при отображении. Это также улучшает доступ к данным по сети за счет уменьшения размера передаваемого файла. Для получения более подробной информации о свойстве Допустимый метод сжатия см. Свойства набора данных мозаики.

Наборы данных с уменьшенным разрешением для быстрого отображения

Наборы данных с уменьшенным разрешением — это растры, созданные на основе исходных данных для наборов растровых данных или наборов данных мозаики. Они создаются для повышения скорости отображения и производительности. Когда они создаются для наборов растровых данных, они называются пирамидными слоями, а когда они создаются для наборов данных мозаики, они называются обзорными изображениями.

Пирамидные слои и обзорные изображения

Пирамидные слои и обзорные изображения

	Пирамидные слои	Обзорные изображения
Создано для	Наборы растровых данных	Наборы данных мозаики
Формат	Записывает файлы .ovr — за некоторыми исключениями. Считывает пирамидные слои, хранящиеся извне в виде файлов .ovr или .rrd, либо внутри.	Записывает в виде файлов .tif.
Хранение	В одном файле, который обычно находится рядом с исходным набором растровых данных и имеет то же имя.	По умолчанию в папке рядом с базой геоданных с расширением *.overviews или внутри для многопользовательских баз геоданных. Расположение хранилища можно настроить.
Размер хранилища	От 2 до 10 процентов (по сравнению с исходными наборами растровых данных).
Коэффициент уменьшения разрешения	2	По умолчанию — 3. Это значение можно изменить.
Экстент	Каждый уровень пирамиды охватывает весь набор растровых данных. Вы можете указать количество уровней для создания.	Может охватывать часть или весь набор данных мозаики. Каждый уровень может состоять из одного или нескольких изображений.
Опции при построении	Количество уровней для создания Метод пересчета Метод и качество сжатия	Количество уровней для создания Размер листа Базовый размер пиксела Метод пересчета Метод и качество сжатия Выходное местоположение Коэффициент прореживания обзорного изображения

Размер листа

В многопользовательской или файловой базе геоданных растровые данные хранятся в структуре, в которой данные разбиты на листы, проиндексированы, снабжены пирамидными слоями и чаще всего сжаты. Благодаря разбиению на листы, индексированию и построению пирамидных слоев при каждом запросе растровых данных возвращаются только те листы, которые необходимы для соответствия экстенту и разрешению запроса, а не весь набор данных целиком. Размер листа определяет количество пикселов, которые необходимо хранить в каждом блоке памяти базы данных. Это значение задается как количество пикселов по x и y. Размер листа по умолчанию составляет 128 на 128 пикселов, и для большинства приложений изменять эти значения по умолчанию не требуется. В многопользовательской базе геоданных листы растровых данных сжимаются перед их сохранением в базе геоданных.

Связанные темы

• Свойства набора растровых данных

• Наборы данных мозаики