Skip to main content

Создать файл подключения к облачному хранилищу (Инструменты Управление данными)

Краткая информация

Создает файл подключения к облачному хранилищу, поддерживаемому ArcGIS. Этот инструмент позволяет имеющимся растровым инструментам геообработки записывать наборы данных в формате облачных растров (CRF) в облачное хранилище или считывать наборы растровых данных (не только CRF), хранящиеся в облаке. Инструмент также создает файл подключения к облачному хранилищу, который вы можете использовать для доступа к файлам Apache Parquet.

Использование

  • You must provide the necessary information to make a cloud storage connection—например, ID ключа доступа, строка секретного ключа доступа и имя бакета — для запуска этого инструмента. Также можно использовать альтернативные методы аутентификации, используя параметр Опции провайдера.

    Более подробно о подключении к облачному хранилищу

  • На выходе инструмента создается двоичный файл подключения к облачному хранилищу в формате ArcGIS Cloud Storage (.acs).

  • При доступе к набору растровых данных или файлу Parquet, хранящимся в облачном хранилище, можно ссылаться на него через файл пути, такой как c:/temp/amazons3.acs/someraster. Если набор данных или файл хранится в папке бакета, ее имя должно быть указано в пути, например, c:/temp/amazons3.acs/foldername/someraster.

  • Этот инструмент поддерживает подключения к бакетам Amazon Simple Storage Service (S3), контейнерам Microsoft Azure Blob Storage, Microsoft Azure Data Lake Storage Gen2, бакетам Alibaba Cloud Object Storage Service (OSS), бакетам Google Cloud Storage Service (GCS), бакетам WebHDFS, MinIO и Ozone Object Storage Service. Amazon S3, контейнеры Azure Blob Storage, Microsoft Azure Data Lake Storage Gen2 и бакеты GCS поддерживаются при доступе к файлу Parquet.

  • Инструмент проверяет указанные учетные данные во время работы. Если подключение не удается установить, инструмент завершает работу с сообщением об ошибке.

  • OAuth 2.0 аутентификация с Azure Active Directory поддерживается с интерактивным входом пользователя для Azure и Azure Data Lake Storage Gen2. Аутентификация OAuth 2.0 для Google Cloud Storage Service также поддерживается. Информацию о настройке смотрите в разделе Подключение к провайдерам аутентификации из ArcGIS Pro. После настройки и входа пользователя параметр аутентификации становится активным для Google, Azure и Azure Data Lake Storage Gen2. Регион и конечная точка будут извлечены из конфигурации.

  • Поддержка пользовательских управляемых идентификаторов с использованием Entra ID на виртуальной машине Azure доступна для Azure и Azure Data Lake Storage Gen2.

  • Управление доступом на основе ролей (RBAC) доступно для облачных провайдеров Amazon, Azure и Google Сохранение всех параметров аутентификации пустыми при использовании Amazon Elastic Compute Cloud (EC2), виртуальной машины Azure или Google Compute Engine позволит ArcGIS Pro получить доступ к хранилищу Blob с помощью ролей IAM или Azure RBAC. Для Amazon поддерживаются IMDSv1 и IMDSv2.

  • Хранилище Microsoft Azure Data Lake Storage Gen2 использует те же опции, что и Azure, но обеспечивает истинную поддержку каталогов и атомарные операции с использованием конечной точки DFS. Некоторые сетевые ошибки во время облачных операций повторяются после экспоненциального отключения.

  • Поддержка Центра идентификации AWS IAM (AWS SSO) доступна для Amazon. Чтобы использовать AWS SSO, установите AWS CLI, затем настройте AWS SSO и войдите в систему. Получите начальный URL-адрес SSO и регион SSO для настройки AWS SSO у своего администратора. Управление токенами сеанса будет осуществляться ACS автоматически до тех пор, пока не истечет срок действия AWS SSO. Если срок действия учетной записи истечет, войдите в систему еще раз, чтобы сохранить ACS в силе.

    Для работы с AWS SSO требуются значения параметров Регион (Среда) и Конечная точка сервиса, а также опция параметра Опции провайдера AWS_PROFILE, которые должны быть точными.

  • Для Amazon доступна поддержка бакета директорий Amazon S3 Express One Zone. Вашему администратору необходимо предоставить S3 разрешение доступа к списку опорных точек (ACL) для доступа к бакету директорий для вашей учетной записи. Все методы аутентификации, доступные для обычных групп, также поддерживаются для групп директорий. Если у вас есть временный токен сеанса для доступа к бакетам директорий, используйте параметры ID ключа доступа и Секретный ключ доступа, а также опцию параметра Опции провайдера AWS_S3SESSION_TOKEN.

  • Для оценки производительности и дополнительной информации см. документацию виртуальных файловых систем GDAL.

    Внимание:

    Esri не тестирует, не сертифицирует и не гарантирует успешную работу S3-совместимых провайдеров хранилищ данных с ArcGIS, также не предоставляется техническая поддержка Esri для устранения неполадок совместимости.

Параметры

Подпись Объяснение Тип данных

Местоположение файла подключения

Путь к папке, где будет создан файл подключения (.acs).

Folder

Имя файла подключения

Имя файла подключения к облачному хранилищу.

String

Провайдер сервиса

Указывается поставщик услуг облачного хранения, который будет использоваться.

  • Лазурный–Провайдером сервиса будет Microsoft Azure, поддерживается доступ к файлу Parquet.

  • Amazon–Провайдером сервиса будет Amazon S3, поддерживается доступ к файлу Parquet.

  • Google–Провайдером сервиса будет Google Cloud Storage, поддерживается доступ к файлу Parquet.

  • Alibaba–Поставщиком услуг будет Alibaba Cloud Storage.

  • WebHDFS–Поставщик услуг будет WebHDFS.

  • MinIO–Поставщик услуг будет MinIO.

  • Azure Data Lake–Провайдером сервиса будет Microsoft Azure Data Lake Storage, поддерживается доступ к файлу Parquet.

  • Ozone–Поставщиком услуг будет Ozone.

  • Веб–Провайдер сервиса, который будет использоваться для доступа к общим HTTP URL-адресам.

String

Имя бакета (контейнера)

Имя контейнера облачного хранилища, в котором будет храниться набор растровых данных или файл Parquet. Если вы используете это местоположение для выходных данных растровых инструментов геообработки, то это контейнер, в котором будет храниться выходной набор растровых данных. Многие облачные провайдеры также называют этот контейнер бакетом.

String

ID ключа доступа (Имя учетной записи)

(Дополнительный)

Строка ID ключа доступа для определенных типов облачных хранилищ. Это также может быть имя учетной записи, как в случае с Azure.

String

Секретный ключ доступа (Ключ учетной записи)

(Дополнительный)

Строка секретного ключа доступа, которая будет использоваться для аутентификации подключения к облачному хранилищу.

Encrypted String

Регион (Среда)

(Дополнительный)

Строка региона облачного хранилища. Если используется, необходимо значение в формате, определяемым сервисом облачного хранилища. По умолчанию используются настройки поставщика облачного хранилища.

String

Конечная точка сервиса

(Дополнительный)

Конечная точка сервиса (URI) облачного хранилища, например, oss-us-west-1.aliyuncs.com. Если значение не указано, будет использоваться конечная точка по умолчанию для выбранного типа облачного хранилища. При необходимости также можно использовать перенаправленную конечную точку CNAME.

String

Опции провайдера

(Дополнительный)

Параметры конфигурации, относящиеся к определенному типу облачного сервиса. У некоторых сервисов имеются такие опции, у других - нет. Параметр необходимо задавать, только если вы хотите включить опции. При создании файла подключения к облачному хранилищу для доступа к файлу Parquet поддерживается только часть опций, как указано в следующих описаниях.

  • Хранилище Azure and Microsoft Azure Data Lake

    • AZURE_STORAGE_SAS_TOKEN—Укажите подпись общего доступа. Убедитесь, что это значение закодировано в URL-адресе и не содержит начальных символов '?' или '&'. При использовании этой опции параметр Секретный ключ доступа (Ключ учетной записи) должен быть пустым. Эта опция поддерживается для доступа к файлу Parquet.

    • AZURE_NO_SIGN_REQUEST—Анонимное подключение к бакетам (контейнерам), которое не требует аутентифицированного доступа. При использовании этой опции параметр Секретный ключ доступа (Ключ учетной записи) должен быть пустым. Значение по умолчанию равно False. Эта опция поддерживается для доступа к файлу Parquet.

    • AZURE_STORAGE_CONNECTION_STRING—Укажите строку подключения Azure Storage. В эту строку вставляются имя учетной записи, ключ и конечная точка. При использовании этой опции параметры ID ключа доступа (Имя учетной записи) и Секретный ключ доступа (Ключ учетной записи) должны быть пустыми. Эта опция поддерживается для доступа к файлу Parquet.

    • CPL_AZURE_USE_HTTPS—Установите False, чтобы использовать запросы HTTP. Некоторые серверы могут быть настроены только на поддержку HTTPS-запросов. Значение по умолчанию равно True.

    • AZURE_IMDS_OBJECT_ID—Укажите ID объекта управляемого идентификатора, прошедшего проверку подлинности с помощью Azure Instance Metadata Service (IMDS), если на вашей виртуальной машине Azure установлено несколько назначенных пользователем управляемых идентификаторов.

    • AZURE_IMDS_CLIENT_ID—Укажите ID клиента управляемого идентификатора, прошедшего проверку подлинности с помощью Azure IMDS, если на вашей виртуальной машине Azure установлено несколько назначенных пользователем управляемых идентификаторов.

    • AZURE_IMDS_MSI_RES_ID—Укажите ID ресурса управляемого идентификатора, прошедшего проверку подлинности с помощью Azure IMDS, если на вашей виртуальной машине Azure установлено несколько назначенных пользователем управляемых идентификаторов.

  • Amazon и MinIO

    • AWS_NO_SIGN_REQUEST—Анонимное подключение к бакетам (контейнерам), которое не требует аутентифицированного доступа. Значение по умолчанию равно False. Эта опция поддерживается для доступа к файлу Parquet.

    • AWS_SESSION_TOKEN—Укажите временные учетные данные. Эта опция поддерживается для доступа к файлу Parquet.

    • AWS_S3SESSION_TOKEN—Укажите временные учетные данные для доступа к бакету директорий.

    • AWS_PROFILE—Профили идентификационных данных AWS автоматически используются, когда отсутствует ключ доступа или идентификатор. Эта опция может использоваться для указания используемого профиля. Эта опция поддерживается для доступа к файлу Parquet.

    • AWS_REQUEST_PAYER—Бакеты "Платит запрашивающий" можно получить, установив эту опцию на запрашивающего.

    • AWS_Virtual_Hosting—Если вы используете Amazon S3 или S3-совместимые облачные провайдеры, поддерживающие только запросы path-style, необходимо установить для этой опции значение True. Рекомендуется использовать виртуальный хостинг, если он поддерживается. Значение по умолчанию равно True.

    • CPL_VSIS3_USE_BASE_RMDIR_RECURSIVE—Некоторые старые реализации, совместимые с S3, не поддерживают операцию пакетного удаления. Этим провайдерам установите для данной опции значение False. Значение по умолчанию равно True.

    • AWS_HTTPS—Установите False, чтобы использовать запросы HTTP. Некоторые серверы могут быть настроены только на поддержку HTTPS-запросов. Значение по умолчанию равно True.

  • Google

    • GS_NO_SIGN_REQUEST—Анонимное подключение к бакетам (контейнерам), которое не требует аутентифицированного доступа. Значение по умолчанию равно True. Эта опция поддерживается для доступа к файлу Parquet.

    • GS_USER_PROJECT—Бакеты "Платит запрашивающий" доступен при установке ключей OAuth2 и проекта для выставления счетов. Установите проект, используя эту опцию, и установите ключи OAuth2, используя другие опции, а не ключи HMAC, в качестве секретного ключа доступа или идентификатора.

    • GS_OAUTH2_REFRESH_TOKEN—Укажите OAuth2 Refresh Access Token. Установите учетные данные клиента OAuth2, используя GS_OAUTH2_CLIENT_ID и GS_OAUTH2_CLIENT_SECRET.

    • GOOGLE_APPLICATION_CREDENTIALS—Укажите учетные данные Service Account OAuth2, используя файл с .json приватным ключом и адресом электронной почты клиента. Эта опция поддерживается для доступа к файлу Parquet.

    • GS_OAUTH2_PRIVATE_KEY—Укажите учетные данные Service Account OAuth2 с помощью строки приватного ключа. GS_AUTH2_CLIENT_EMAIL должен быть задан.

    • GS_OAUTH2_PRIVATE_KEY_FILE—Укажите учетные данные Service Account OAuth2 с помощью приватного ключа из файла. GS_AUTH2_CLIENT_EMAIL должен быть задан.

    • GS_AUTH2_CLIENT_EMAIL—Укажите учетные данные Service Account OAuth2, используя адрес электронной почты клиента.

    • GS_AUTH2_SCOPE—Укажите область действия Service Account OAuth2. Допустимыми значениями являются https://www.googleapis.com/auth/devstorage.read_write (по умолчанию) и https://www.googleapis.com/auth/devstorage.read_only.

    • GDAL_HTTP_HEADER_FILE—Укажите учетные данные для аутентификации на предъявителя, хранящиеся во внешнем файле.

  • Alibaba

    • OSS_Virtual_Hosting—Если вы используете Alibaba или S3-совместимые облачные провайдеры, поддерживающие только запросы path-style, необходимо установить для этой опции значение True. Рекомендуется использовать виртуальный хостинг, если он поддерживается. Значение по умолчанию равно True.

    • OSS_HTTPS—Установите False, чтобы использовать запросы HTTP. Некоторые серверы могут быть настроены только на поддержку HTTPS-запросов. Значение по умолчанию равно True.

  • WebHDFS

    • WEBHDFS_REPLICATION (целое число)—значение репликации используется при создании файла.

    • WEBHDFS_PERMISSION (десятичный)—при создании файла используется маска прав доступа.

Если задано несколько параметров аутентификации, приоритет следующий:

  • Azure—'AZURE_STORAGE_CONNECTION_STRING', имя учетной записи или ключ, AZURE_STORAGE_SAS_TOKEN, AZURE_NO_SIGN_REQUEST или RBAC.

  • Amazon—'AWS_NO_SIGN_REQUEST', идентификатор доступа или ключ или AWS_SESSION_TOKEN, AWS Credential Profile или IAM Role.

  • Google—'GS_NO_SIGN_REQUEST', идентификатор доступа или ключ, GDAL_HTTP_HEADER_FILE, (GS_OAUTH2_REFRESH_TOKEN or GS_OAUTH2_CLIENT_ID and GS_OAUTH2_CLIENT_SECRET), GOOGLE_APPLICATION_CREDENTIALS, (GS_OAUTH2_PRIVATE_KEY or GS_OAUTH2_CLIENT_EMAIL), (GS_OAUTH2_PRIVATE_KEY_FILE or GS_OAUTH2_CLIENT_EMAIL) или IAM Role.

  • Ozone

    • AWS_PROFILE—Профили учетных данных AWS автоматически используются, когда отсутствует ключ доступа или идентификатор. Эта опция может использоваться для указания используемого профиля.

    • AWS_Virtual_Hosting—Если вы используете Amazon S3 или S3-совместимые облачные провайдеры, поддерживающие только запросы path-style, необходимо установить для этой опции значение True. Рекомендуется использовать виртуальный хостинг, если он поддерживается. Значение по умолчанию равно True.

    • AWS_HTTPS—Установите False, чтобы использовать запросы HTTP. Некоторые серверы могут быть настроены только на поддержку HTTPS-запросов. Значение по умолчанию равно True.

    • CPL_VSIS3_USE_BASE_RMDIR_RECURSIVE—Некоторые старые реализации, совместимые с S3, не поддерживают операцию пакетного удаления. Этим провайдерам установите для данной опции значение False. Значение по умолчанию равно True.

    • x-amz-storage-class—Укажите REDUCED_REDUNDANCY для записи в отдельный контейнер ozone, так как он содержит один узел данных.

  • Веб

    При использовании опции Веб доступ к аутентифицированной конечной точке HTTP/HTTPS можно получить с помощью ACS. Параметры аутентификации передаются как опции провайдера и будут использоваться для доступа к конечной точке.

    • GDAL_HTTP_USERPWD—Имя пользователя и пароль HTTP, которые будут использоваться для подключения. Оно должно быть в форме [user name]:[password]. Используйте GDAL_HTTP_AUTH для выбора метода аутентификации.

    • GDAL_HTTP_NETRC_FILE—Установите местоположение файла '.netrc'.

    • GDAL_HTTP_HEADERS—Задает заголовки в виде списка значений key:value pairs, разделенных запятыми.

    • GDAL_HTTP_BEARER—Задает токен HTTP OAuth 2.0 Bearer Access, который будет использоваться для подключения. Необходимо использовать с GDAL_HTTP_AUTH=BEARER.

    • GDAL_HTTP_AUTH—Выберите тип используемого метода аутентификации: [BASIC/NTLM/NEGOTIATE/ANY/ANYSAFE/BEARER].

    • GDAL_HTTP_SSLCERT—Имя файла клиентского SSL-сертификата для аутентификации с использованием PKI.

    • GDAL_HTTP_SSLKEY—Путь к файлу закрытого ключа для клиентского сертификата TLS и SSL для аутентификации PKI.

    • GDAL_HTTP_KEYPASSWD—Кодовая фраза к закрытому ключу GDAL_HTTP_SSLKEY.

Помимо перечисленных выше опций провайдеров, опция ARC_DEEP_CRAWL может использоваться со всеми провайдерами сервисов. В случае True она используется для идентификации CRF, без расширения в облаке и облачных растровых продуктов. Это ресурсозатратная операция, и настоятельно рекомендуется установить для этой опции значение False, чтобы ускорить просмотр и сканирование каталогов. Значение по умолчанию равно False.

Сервисы предоставления пользовательских токенов, например, сбор данных Планетарным компьютером, можно авторизовать с использованием опций ARC_TOKEN_SERVICE_API (URL поставщика токена) и ARC_TOKEN_OPTION_NAME (тип токена провайдера сервиса).

Примечание:

Опция GDAL_DISABLE_READDIR_ON_OPEN доступна у всех провайдеров сервисов. Чтобы повысить производительность загрузки облачных растров, по умолчанию для этого параметра установлено значение NO. Если растр находится в папке, содержащей более 30 000 элементов, установите для этого параметра значение YES.

Столбцы таблицы значений:

  • Name–The name of the provider configuration.

  • Value–The value of the provider configuration.

Value Table

Папка

(Дополнительный)

Папка в параметре Имя бакета (контейнера), в которой будет храниться набор растровых данных или файл Parquet. Если вы используете это местоположение для выходных данных растровых инструментов геообработки, то это папка, в котором будет храниться выходной набор растровых данных.

String

Аутентификация

(Дополнительный)

Имя подключения для аутентификации OAuth 2.0.

Рабочее подключение необходимо настроить в диалоговом окне Опции на вкладке Аутентификация.

String

Производные выходные данные

Подпись Объяснение Тип данных

Выходной файл подключения

Путь к выходному файлу подключения к облачному хранилищу.

File

Параметры среды

Этот инструмент не использует параметры среды геообработки.

Информация о лицензировании

  • Basic: Да
  • Standard: Да
  • Advanced: Да