Skip to main content

URL

Используйте записи из URL или API в качестве входных данных для ArcGIS Data Pipelines.

Примечания по использованию

При работе с адресами URL нужно учитывать следующее:

  • Используйте параметр URL, чтобы указать набор данных, который будет использоваться в качестве входных данных для конвейера данных. Поддерживаются только URL-адреса HTTP и HTTPS.

  • Векторные слои и таблицы ArcGIS не рекомендуется использовать в качестве входных данных URL. Векторные слои ArcGIS следует добавлять к вашим ресурсам, а затем использовать в качестве входных данных Векторного слоя. Чтобы узнать о том, как добавить векторный слой объектов в свои ресурсам, ознакомьтесь с разделом Добавление сервиса или документа по URL-адресу.

  • Параметр Этот URL требует аутентификации определяет, требует ли URL-адрес аутентификации для доступа к данным (включено) или данные общедоступны (отключено).

  • Чтобы загрузить данные по URL-адресу, требующему аутентификации, необходимо сначала создать элемент подключения к сервису. Элементы подключения к сервису надежно хранят учетные данные и секреты, которые будут включены в запрос к URL-адресу. Чтобы создать подключение к сервису, выполните шаги, описанные в разделе URL-адреса, для которых необходима аутентификация.

  • Чтобы изменить настроенный элемент подключения к сервису, используйте параметр Подключение к сервису, чтобы удалить текущий выбранный элемент, и выберите одну из следующих опций:

    • Добавить подключение – создайте элемент подключения к сервису.

    • Выбрать элемент – просмотрите свои ресурсы, чтобы выбрать существующий элемент подключения к сервису.

  • Используйте параметр Пользовательские заголовки, чтобы задать имена и значения заголовков, которые следует отправлять в URL-запросе. Например, API может потребовать, чтобы заголовок Content-type был установлен на определенное значение. Указывать учетные данные или секреты в качестве заголовков не рекомендуется. Учетные данные и секреты должны храниться в элементах подключения к сервисам.

  • Используйте параметр Формат ответа, чтобы задать формат данных, возвращаемых по URL-адресу. Доступны следующие форматы:

    • CSV или с разделителями (например, .csv, .tsv и .txt)

    • JSON (.json)

    • GeoJSON (.geojson)

    • Parquet (.parquet)

    • GeoParquet (.parquet)

  • Если указана опция формата CSV или с разделителями, доступны следующие параметры определения набора данных:

    • Разделитель — Разделитель, используемый для разделения значений поля (или столбца) и записи (или строки). Вы можете выбрать из следующих вариантов или ввести свое собственное значение:

      • Запятая (,) — Значения полей и записей разделяются запятыми (,). Используется по умолчанию.

      • Табуляция (\t) — Значения полей и записей разделяются табуляцией (\t).

      • Вертикальная линия (|) — Значения полей и записей разделяются вертикальными линиями (|).

      • Точка с запятой (;) — Значения полей и записей разделяются точкой с запятой (;).

      • Пробел ( ) — Значения полей и записей разделяются пробелами ( ).

    Если вы вводите свое собственное значение, его длина должна составлять один или два символа, включая пробелы. Разделители длиной более двух символов не поддерживаются.

    • Содержит строку заголовка — Указывает, содержит ли набор данных строку заголовка. Значением по умолчанию является true. Если установлено значение false, первая строка набора данных будет считаться записью.

    • Содержит мультилинейные данные — Указывает, содержит ли набор данных записи, содержащие символы новой строки. Значением по умолчанию является false. Если установлено значение true, данные, содержащие мультилинейные данные, будут прочитаны и отформатированы корректно.

    • Кодировка символов — Указывает тип кодировки, используемый для чтения указанного набора данных. По умолчанию это будет UTF-8. Вы можете выбрать один из доступных опций кодировки или указать тип кодировки. Пробелы не поддерживаются в значениях кодировки. Например формат значения ISO 8859-8 недопустим, должно быть ISO-8859-8.

    • Поля – дополнительно настраивает имена и типы полей. Кнопка Настроить схему открывает диалоговое окно, содержащее поля набора данных со следующими параметрами:

      • Включить или удалить поля — Вы можете удалить поля, поставив отметку рядом с полем. По умолчанию включаются все поля.

      • Имя поля — Имя поля, которое будет использоваться в Data Pipelines. Это значение можно изменить. По умолчанию это значение будет соответствовать полю исходного набора данных, если имя источника не содержит недопустимых символов и не является зарезервированным словом. Недопустимые символы будут заменены подчеркиванием (_), а зарезервированные слова будут содержать префикс - подчеркивание (_).

      • Тип поля – тип поля, который будет использоваться в Data Pipelines.

    Удаление или изменение полей в Data Pipelines не меняет исходные данные.

    В следующей таблице приводится описание доступных типов полей:

    Тип поля Описание
    Строка Текстовые поля поддерживают строку текстовых символов.
    Small integer Поля типа Small integer поддерживают целые числа в диапазоне от -32768 до 32767.
    Integer Поля типа Integer поддерживают целые числа в диапазоне от -2147483648 до 2147483647.
    Big integer Поля типа Big integer поддерживают целые числа в диапазоне от -9223372036854776000 до 9223372036854776000.
    Float Поля типа с плавающей точкой поддерживают дробные числа приблизительно от -3.4E38 до 3.4E38.
    Double Поля типа двойной точности поддерживают дробные числа приблизительно от -2.2E308 до 1.8E308.
    Дата Поля типа дата поддерживают значения в формате yyyy-MM-dd HH:mm:ss, например допустимо значение 2025-12-31 13:30:30. Если значения даты хранятся в другом формате, используйте инструмент Создать дату и время, чтобы вычислить поле дата.
    Только дата Поля типа дата поддерживают значения в формате yyyy-MM-dd, например допустимо значение 2025-12-31. Если значения, содержащие только дату, хранятся в другом формате, используйте эти значения в качестве входных данных для инструмента Вычислить поле, чтобы вычислить поле, содержащее только дату.
    Boolean Булевы поля поддерживают значения True и False. Если есть поле, содержащее целочисленные представления Булевых значений (0 и 1), используйте инструмент Обновить поля, чтобы вместо этого привести целые числа к логическим Булевым значениям.
  • Если указана опция формата JSON, доступен параметр Корневое свойство. С помощью этого параметра можно указать свойство в JSON для чтения данных. Вы можете ссылаться на вложенные свойства, используя десятичный разделитель между каждым свойством, например property.subProperty. По умолчанию будет прочитан полный файл JSON.
  • Если указана опция формата GeoJSON, доступен параметр Тип геометрии. Это дополнительный параметр. По умолчанию используется тип геометрии в файле GeoJSON. Если файл GeoJSON содержит несколько типов геометрии, необходимо указать значение этого параметра. Смешанные типы геометрии не поддерживаются, и будет использован только указанный тип. Возможны опции Точечный, Мультиточечный, Полилинейный и Полигональный. Поле геометрии, содержащее местоположения данных GeoJSON, будет автоматически рассчитано и добавлено во входной набор данных. Поле геометрии можно использовать в качестве входных данных для пространственных операций или для включения геометрии в выходной результат.

  • Чтобы повысить производительность чтения входных наборов данных, рассмотрите следующие варианты:

    • Используйте параметр Использовать кэширование для сохранения копии набора данных. Кэшированная копия сохраняется только пока в браузере открыта хотя бы одна вкладка редактора. Это может ускорить доступ к данным во время их обработки. Если исходные данные были обновлены с момента их кэширования, отключите этот параметр и выполните предварительный просмотр или запустите инструмент еще раз.

    • После настройки входного набора данных настройте любой из следующих инструментов, которые ограничивают объем обрабатываемых данных:

      • Фильтр по атрибуту — Сохраняет поднабор записей, содержащих определенные значения атрибутов.

      • Фильтр по экстенту — Сохраняет поднабор записей в пределах определенного пространственного экстента.

      • Выбрать поля — Сохраняет только поля интереса.

      • Вырезание — Сохраняет поднабор записей, которые пересекаются с определенными геометриями.

Подключение к URL-адресам, требующим аутентификации

Для аутентификации защищенных URL-адресов выполните следующие действия, чтобы создать элемент подключения к сервису в редакторе Data Pipelines:

  1. На панели инструментов редактора Data Pipelines щелкните Входные данные и выберите URL.

    Появится диалоговое окно Добавить URL.

  2. В параметре URL укажите URL-адрес набора данных, включая начальные https://.

  3. Используйте параметр Формат ответа, чтобы задать формат набора данных, возвращаемого по URL-адресу.

  4. Включите опцию Для этого URL-адреса необходима аутентификация.

  5. Выберите Добавить новое подключение сервиса.

  6. Щелкните Далее.

    Появится диалоговое окно Добавить подключение сервиса.

  7. В параметре Базовый URL укажите доменное имя, на которое сервисное соединение будет отправлять учетные данные или секреты.

  8. Выберите один из следующих вариантов в ниспадающем меню Тип аутентификации:

    • Ключ API — требуется ключ API, который будет использоваться в качестве значения заголовка или параметра запроса.

    • Базовый — требуется имя пользователя и пароль.

  9. Введите значения для параметров аутентификации. Используйте предварительный просмотр в нижней части диалогового окна, чтобы убедиться, что формат соответствует требованиям URL.

    Если на предыдущем шаге вы указали ключ API, задайте следующие параметры аутентификации:

    • Местоположение параметра — указывает, отправляется ли ключ API в заголовке или в параметре запроса.

    • Имя параметра — задает имя заголовка или параметр запроса.

    • Ключ API — задает ключ API.

    • Префикс ключа API (дополнительно) — указывает значение, добавляемое к ключу API, например, "Bearer". Это дополнительный параметр.

  10. Щелкните Далее.

    Откроется страница с информацией об элементе.

  11. Введите заголовок для нового элемента подключения сервиса.

    Это заголовок, который появится в ваших ресурсах. Также можете сохранить элемент в определенной папке и указать теги элемента или сводную информацию.

  12. Щелкните Сохранить, чтобы создать элемент подключения сервиса.

    На канву добавляется элемент URL, а в ваши ресурсы добавляется элемент подключения к сервису. Вы можете повторно использовать элемент подключения к сервису каждый раз, когда хотите прочитать данные из базового URL-адреса, для которого он настроен.

Ограничения

Известны следующие ограничения:

  • По умолчанию Data Pipelines не разрешает подключения к любым URL-хостам. Обратитесь к администратору и попросите настроить системное свойство allowedHosts для приема чтения с хоста, к которому вы пытаетесь подключиться.

  • Если указанный URL-адрес использует недействительные сертификаты HTTPS или не отвечает, вы не сможете использовать набор данных в качестве входных данных для Data Pipelines.

  • Если указанный URL-адрес не может быть прочитан в Data Pipelines, но вы можете загрузить данные с него напрямую, попробуйте вместо этого использовать загруженные данные в качестве входных для инструмента Файл.

  • Пользовательский IP-адрес нельзя использовать в качестве URL-адреса. Поддерживаются только доменные имена.

  • URL-адреса, использующие домен arcgis.com, не рекомендуется использовать в качестве входных URL. Вместо того, чтобы использовать URL-адреса ArcGIS в качестве входных данных, используйте инструменты входа Файл или Векторный слой.

  • Пользовательские порты не поддерживаются.

  • Прямые прокси не поддерживаются.

  • Некоторые значения заголовков не поддерживаются в качестве входных данных для параметра Пользовательские заголовки, включая заголовок Authorization. Чтобы узнать, как безопасно хранить секреты, обратитесь к разделу Подключение к URL-адресам, требующим аутентификации.

  • URL-адреса с перенаправлением могут не поддерживаться.

Узнайте больше о диагностике перенаправлений URL-адресов в сообществе Data Pipelines

  • Файлы Esri JSON (.esrijson) не поддерживаются.

  • Если набор данных содержит имена полей с пробелами или недопустимыми символами, имена автоматически обновляются для использования подчеркивания. Например, поле с именем Population 2022 переименовывается в Population_2022, а поле %Employed в _Employed.

  • Чтобы использовать элемент подключения к сервису для подключения к URL-адресам, требующим аутентификации, вы должны быть владельцем элемента. Элементы подключения к сервису являются частными и не могут быть опубликованы.

Дополнительные сведения о входных данных, доступных в ArcGIS Data Pipelines, см. в разделе Конфигурация набора данных.

Наверх