Обработка данных

Примечание:

В ArcGIS Enterprise 12.0, ArcGIS Data Pipelines является бета-функцией. Во время бета-тестирования эта возможность может быть неполной, иметь известные проблемы с производительностью или качеством и не будет поддерживаться технической поддержкой Esri.

Обратная связь по этой функции может быть предоставлена в ArcGIS Enterprise 12.0 Beta Features Early Adopter Community.

ArcGIS Data Pipelines выполняет пакетную обработку хранящихся векторных и табличных данных, таких как данные в векторном слое, облаке или объектном хранилище, таком как Amazon S3 и Google BigQuery. Data Pipelines предоставляет возможности подготовки и проектирования данных, чтобы вы могли смешивать и создавать данные, а также интегрировать их в ArcGIS. Для обработки, которая может быть выполнена, используются инструменты, объединенные в следующие категории, называемые группами инструментов:

• Очистка – очистка данных. Например, вы можете удалить ненужные поля. Вы также можете изменить поля или заполнить пропущенные значения.

• Построение – создайте поля на основе существующих полей или свойств слоя. Например, вы можете добавить и вычислить новое поле, стандартизировать, трансформировать или переклассифицировать существующее поле, а также добавить поле на основе геометрии входного слоя.

• Форматирование – измените форматы полей или переорганизуйте поля в таблице или классе объектов. Например, вы можете конвертировать поля времени, перекодировать категорийные поля или сократить измерения в существующих полях.

• Интеграция – интегрируйте или добавляйте данные из другого источника во входную таблицу или класс объектов. Например, вы можете присоединить или добавить поля, обогатив данные.

• Выходные наборы данных — Выберите выходной тип, чтобы записывать и хранить результат.

Примеры

Ниже приведены примеры сценариев, в которых может быть использован Data Pipelines:

• Как специалист по исследованию данных, вы можете объединять разрозненные наборы данных и вычислять переменные в виде полей с помощью функций ArcGIS Arcade.

• Как аналитик ГИС, вы можете создавать воспроизводимые рабочие процессы подготовки данных и публиковать их.

• Как ученый-эколог, вы можете объединять и стандартизировать информацию, полученную в поле, которая хранится в виде коллекции файлов .csv.

Инструменты

В таблицах из разделов ниже описаны инструменты в различных категориях редактора Data Pipelines.

Очистка

Следующие инструменты доступны в категории Очистка:

Инструмент	Описание
Вырезать	Инструмент Вырезать извлекает входные записи, которые накладываются на записи вырезания.
Фильтр по атрибуту	Инструмент Фильтр по атрибуту возвращает поднабор набора данных на основе запроса. Результатом является новый набор данных, содержащий только те записи, которые соответствуют условию, указанному в запросе.
Фильтр по экстенту	Инструмент Фильтр по экстенту возвращает поднабор набора данных на основе указанного пространственного экстента. Результатом является новый набор данных, содержащий только те записи, которые географически находятся в пределах указанного экстента.
Удалить дубликаты	Инструмент Удалить дубликаты удаляет дублирующиеся записи на основе одного или нескольких ключевых полей. На выходе получается новый набор данных без дубликатов записей.
Выбрать поля	Инструмент Выбрать поля сохраняет одно или несколько указанных полей в выходном наборе данных. Результатом является новый набор данных, содержащий только указанные поля.
Упростить геометрию	Инструмент Упростить геометрию упрощает сложность полилиний или полигонов, удаляя ненужные вершины и сохраняя только самые важные вершины.

Построить

Следующие инструменты доступны в категории Построение:

Инструмент	Описание
Вычислить поле	Инструмент Вычислить поле вычисляет значения поля для нового или существующего поля. Вы можете использовать функции Arcade для определения выражения вычисления.
Создать дату и время	Инструмент Создать дату и время создает поле дат, используя существующие значения полей.
Создать геометрию	Инструмент Создать геометрию создает поле геометрии с использованием одного или нескольких полей.

Формат

Следующие инструменты доступны в категории Формат:

Инструмент	Описание
Сопоставить поля	Инструмент Сопоставить поля преобразует схему набора данных, сопоставляя ее с целевой схемой.
Сведение	Инструмент Сведение преобразует длинный набор данных в широкий набор данных, используя различающиеся значения из существующего поля для создания новых полей.
Проецировать геометрию	Инструмент Проецировать геометрию проецирует поле геометрии в новую пространственную привязку.
Развернуть поле	Инструмент Развернуть поле возвращает значения, хранящиеся в поле массива, карты, или структуры, как новые поля или строки.
Обновить поля	Инструмент Обновить поля обновляет имя поля или тип поля.

Интегрировать

Следующие инструменты доступны в категории Интегрировать:

Инструмент	Описание
Слияние по атрибуту	Инструмент Слияние находит полигоны или полилинии, которые перекрываются или имеют общую границу или общие атрибуты, и объединяет их в единый полигон или полилинию.
Соединение	Инструмент Соединение объединяет наборы данных на основе указанных отношений. Наборы данных можно объединять, используя совпадающие атрибуты, пространственные отношения, временные отношения или любую их комбинацию.
Слияние	Инструмент Слияние - объединяет один или несколько наборов данных в один новый набор данных. Вы можете комбинировать точечные, линейные, полигональные или табличные наборы данных.
Суммировать атрибуты	Инструмент Суммировать атрибуты агрегирует записи и вычисляет статистику. Вы можете агрегировать все записи или выполнить агрегацию на основе сопоставления значений из одного или нескольких полей.

Выходные данные

Поддерживается следующий тип выходных данных:

Инструмент	Описание
Векторный слой	Выходной векторный слой записывает наборы данных конвейера данных в размещенный векторный слой или размещенную таблицу. Вы можете создать векторный слой или таблицу, заменить данные в существующем векторном слое либо таблице или добавить и обновить записи в существующем векторном слое или таблице.