Skip to main content

Créer un fichier de connexion au stockage cloud (Outils de gestion des données)

Résumé

Crée un fichier de connexion à un stockage cloud pris en charge par ArcGIS. Cet outil permet aux outils de géotraitement raster existants d’écrire des jeux de données au format CRF (Cloud Raster Format) dans le paquet du stockage cloud ou de lire des jeux de données raster (pas seulement au format CRF) stockés dans le stockage cloud en entrée. L’outil crée un fichier de connexion au stockage Cloud que vous pouvez utiliser afin d’accéder aux fichiers Apache Parquet pour l’appariement.

Utilisation

  • You must provide the necessary information to make a cloud storage connection—tel qu’un ID de clé d’accès, une chaîne de clé d’accès secrète et un nom de compartiment, pour exécuter cet outil. Vous pouvez également utiliser d’autres méthodes d’authentification à l’aide du paramètre Provider options (Options du fournisseur de services).

    En savoir plus sur la connexion à des stockages Cloud

  • L’outil génère un fichier de connexion au stockage Cloud binaire au format ArcGIS Cloud Storage (.acs).

  • Lorsque vous accédez à un jeu de données raster ou à un fichier Parquet stocké dans un emplacement de stockage Cloud, vous pouvez le référencer via un chemin d’accès au fichier, tel que c:/temp/amazons3.acs/someraster. Si le jeu de données ou fichier est stocké dans un dossier du compartiment, le nom du dossier doit être inclus dans le chemin, par exemple, c:/temp/amazons3.acs/foldername/someraster.

  • Cet outil prend en charge les connexions aux compartiments Amazon Simple Storage Service (S3), aux conteneurs Microsoft Azure Blob Storage, à Microsoft Azure Data Lake Storage Gen2, aux compartiments Alibaba Cloud Object Storage Service (OSS), aux compartiments Google Cloud Storage Service (GCS), ainsi qu’aux compartiments WebHDFS, MinIO et Ozone Object Storage Service. Amazon S3, les conteneurs Azure Blob Storage, Microsoft Azure Data Lake Storage Gen2 et les compartiments GCS sont pris en charge lorsque vous accédez à un fichier Parquet.

  • L’outil valide les identifiants de connexion fournis lors de l’exécution. Si la connexion ne peut pas être établie, l’exécution de l’outil échoue.

  • L’authentification OAuth 2.0 avec Azure Active Directory est prise en charge avec la connexion interactive d’utilisateur pour Azure et Azure Data Lake Storage Gen2. L’authentification OAuth 2.0 pour Google Cloud Storage Service est également prise en charge. Reportez-vous à la rubrique Se connecter aux fournisseurs d’authentification depuis ArcGIS Pro pour en savoir plus sur la configuration. Une fois la configuration effectuée et l’utilisateur connecté, le paramètre d’authentification devient actif pour Google, Azure et Azure Data Lake Storage Gen2. La région et le point de terminaison sont extraits de la configuration.

  • La prise en charge des identités managées affectées par l’utilisateur avec Entra ID sur une machine virtuelle Azure est disponible pour Azure et Azure Data Lake Storage Gen2.

  • Un contrôle d’accès basé sur les rôles (RBAC) est disponible pour les fournisseurs Cloud Amazon, Azure et Google. Si vous laissez vide le champ de tous les paramètres d’authentification tout en utilisant Amazon Elastic Compute Cloud (EC2), une machine virtuelle Azure ou Google Compute Engine, ArcGIS Pro peut accéder au stockage Blob avec les rôles IAM ou la fonction Azure RBAC. Pour Amazon, IMDSv1 et IMDSv2 sont pris en charge.

  • Microsoft Azure Data Lake Storage Gen2 suit les mêmes options qu’Azure, mais fournit une vraie prise en charge du répertoire et des opérations atomiques en utilisant un point de terminaison DFS. Certaines erreurs de réseau survenant pendant des opérations Cloud se reproduisent selon un algorithme de reprise après collision ([Exponential Backoff])(https://docs.aws.amazon.com/general/latest/gr/api-retries.html).

  • Prise en charge d’AWS IAM Identity Center (authentification unique AWS) pour Amazon. Pour utiliser l’authentification unique avec AWS, installez l’interface de ligne de commande AWS, puis configurez l’authentification unique et connectez-vous à AWS. Demandez à votre administrateur de vous fournir l’URL de démarrage d’authentification unique et la région d’authentification unique pour configurer l’authentification unique avec AWS. La gestion du jeton de session sera effectuée automatiquement pas ACS jusqu’à expiration de la connexion d’authentification unique à AWS. Si la connexion expire, connectez-vous à nouveau pour maintenir la validité de l’ACS.

    Pour utiliser l’authentification unique AWS, les valeurs des paramètres Région (Environnement) (Région [Environnement]) et Service End Point (Point de terminaison du service) ainsi que l’option AWS_PROFILE du paramètre Provider Options (Options du fournisseur de services) sont requises et doivent être correctes.

  • Prise en charge d’un compartiment de répertoire Amazon D3 Express One Zone pour Amazon. Votre administrateur doit fournir une autorisation de liste de contrôle d’accès (ACL) S3 pour accéder au compartiment de répertoire de votre compte. Toutes les méthodes d’authentification disponibles pour les compartiments standards peuvent également être utilisées pour les compartiments de répertoire. Si vous disposez d’un jeton de session temporaire pour accéder aux compartiments de répertoire, utilisez les paramètres Access Key ID (ID de la clé d’accès) et Secret Access Key (Clé d’accès secrète) ainsi que l’option AWS_S3SESSION_TOKEN du paramètre Provider Options (Options du fournisseur de services).

  • Pour plus d’informations générales et relatives aux performances, consultez la documentation sur les systèmes de fichier virtuel GDAL.

    Attention :

    Esri ne teste pas, ne certifie pas et ne garantit pas que les fournisseurs de stockage compatibles avec S3 le seront avec ArcGIS et il n’existe aucun support technique Esri pour résoudre les problèmes de compatibilité.

Paramètres

Etiqueter Explication Type de données

Emplacement du fichier de connexion

Chemin d’accès au dossier dans lequel le fichier de connexion (.acs) est créé.

Folder

Nom du fichier de connexion

Nom du fichier de connexion au stockage cloud.

String

Fournisseur de services

Indique le fournisseur de services du stockage cloud qui va être utilisé.

  • Azur—Le fournisseur de services sera Microsoft Azure et il sera possible d’accéder à un fichier Parquet.

  • Amazon—Le fournisseur de services sera Amazon S3 et il sera possible d’accéder à un fichier Parquet.

  • Google—Le fournisseur de services sera Google Cloud Storage et il sera possible d’accéder à un fichier Parquet.

  • Alibaba—Le fournisseur de services sera Alibaba Cloud Storage.

  • WebHDFS—Le fournisseur de services sera WebHDFS.

  • MinIO—Le fournisseur de services sera MinIO.

  • Azure Data Lake—Le fournisseur de services sera le stockage Microsoft Azure Data Lake et il sera possible d’accéder à un fichier Parquet.

  • Ozone—Le fournisseur de services sera Ozone.

  • Web—Le fournisseur de services qui sera utilisé pour accéder aux URL HTTP génériques.

String

Nom du paquet (conteneur)

Nom du conteneur de stockage Cloud dans lequel le jeu de données raster ou le fichier Parquet est stocké. Si vous utilisez cet emplacement pour la sortie des outils de géotraitement raster, il s’agit du conteneur dans lequel le jeu de données raster en sortie est stocké. De nombreux fournisseurs Cloud désignent ce conteneur sous le nom de compartiment.

String

ID de la clé d’accès (nom du compte)

(Facultatif)

ID de la clé d’accès du type de stockage cloud spécifique. Il peut également s’agir du nom du compte, comme avec Azure.

String

Clé d’accès secrète (clé du compte)

(Facultatif)

Chaîne de la clé d’accès secrète qui sera utilisée pour authentifier la connexion au stockage cloud.

Encrypted String

Région (environnement)

(Facultatif)

Chaîne de la région du stockage cloud. Si elle est indiquée, la valeur doit respecter le format défini par le choix du stockage cloud. La valeur par défaut est le compte par défaut du fournisseur de cloud sélectionné.

String

Point d’arrêt du service

(Facultatif)

Point de terminaison du service (URI) du stockage Cloud, par exemple oss-us-west-1.aliyuncs.com. Si aucune valeur n’est fournie, l’extrémité par défaut du type de stockage cloud sélectionné est utilisée. L’extrémité redirigée CNAME peut également être utilisée, le cas échéant.

String

Options du fournisseur de services

(Facultatif)

Options de configuration inhérentes au type spécifique de service cloud. Certains services proposent des options et d’autres non. Définissez ce paramètre uniquement si vous souhaitez activer les options. Seules quelques options sont prises en charge lorsque vous créez un fichier de connexion au stockage Cloud afin d’accéder à un fichier Parquet, comme indiqué dans les descriptions suivantes.

  • Stockage Azure et Microsoft Azure Data Lake

    • AZURE_STORAGE_SAS_TOKEN—Indiquez une signature d’accès partagé. Vérifiez que sa valeur fait l’objet d’un encodage URL et ne commence pas par les caractères ? ou &. Lorsque vous utilisez cette option, le paramètre Secret Access Key (Account Key) (Clé d’accès secrète [clé du compte]) doit être vide. Cette option est prise en charge pour l’accès à un fichier Parquet.

    • AZURE_NO_SIGN_REQUEST—Connectez-vous de manière anonyme aux compartiments (conteneurs) ne nécessitant pas d’accès authentifié. Lorsque vous utilisez cette option, le paramètre Secret Access Key (Account Key) (Clé d’accès secrète [clé du compte]) doit être vide. La valeur par défaut est False. Cette option est prise en charge pour l’accès à un fichier Parquet.

    • AZURE_STORAGE_CONNECTION_STRING—Spécifiez une chaîne de connexion Azure Storage. Cette chaîne incorpore le nom du compte, la clé et le point de terminaison. Lorsque vous utilisez cette option, les paramètres Access Key ID (Account Name) (ID de clé d’accès [nom de compte]) et Secret Access Key (Account Key) (Clé d’accès secrète [clé de compte]) doivent être vides. Cette option est prise en charge pour l’accès à un fichier Parquet.

    • CPL_AZURE_USE_HTTPS—Définissez cette valeur sur False pour utiliser des requêtes HTTP. Certains serveurs peuvent être configurés pour ne prendre en charge que les demandes HTTPS. La valeur par défaut est True.

    • AZURE_IMDS_OBJECT_ID—Indiquez l’ID d’objet de l’identité managée authentifiée à l’aide du service de métadonnées d’instance Azure (IMDS) si plusieurs identités gérées attribuées par l’utilisateur sont configurées sur votre machine virtuelle Azure.

    • AZURE_IMDS_CLIENT_ID—Indiquez l’ID de client de l’identité managée authentifiée à l’aide du service de métadonnées d’instance Azure (IMDS) si plusieurs identités managées attribuées par l’utilisateur sont configurées sur la machine virtuelle Azure.

    • AZURE_IMDS_MSI_RES_ID—Indiquez l’ID de ressource de l’identité managée authentifiée à l’aide du service de métadonnées d’instance Azure (IMDS) si plusieurs identités managées attribuées par l’utilisateur sont configurées sur la machine virtuelle Azure.

  • Amazon et MinIO

    • AWS_NO_SIGN_REQUEST—Connectez-vous de manière anonyme aux compartiments (conteneurs) ne nécessitant pas d’accès authentifié. La valeur par défaut est False. Cette option est prise en charge pour l’accès à un fichier Parquet.

    • AWS_SESSION_TOKEN—Spécifiez des informations d’identification temporaires. Cette option est prise en charge pour l’accès à un fichier Parquet.

    • AWS_S3SESSION_TOKEN—Spécifiez des informations d’identification temporaires pour accéder à un compartiment de répertoire.

    • AWS_PROFILE—Les profils d’informations d’identification AWS sont automatiquement utilisés si la clé d’accès ou l’ID est manquant. Cette option peut être utilisée pour préciser le profil à utiliser. Cette option est prise en charge pour l’accès à un fichier Parquet.

    • AWS_REQUEST_PAYER—Il est possible d’accéder aux compartiments Paiement par le demandeur en définissant cette option sur Demandeur.

    • AWS_Virtual_Hosting—Si vous utilisez des fournisseurs Cloud Amazon S3 ou compatibles S3 qui ne prennent en charge que des requêtes de type chemin d’accès, définissez cette option sur True. Il est recommandé d’utiliser l’hébergement virtuel s’il est pris en charge. La valeur par défaut est True.

    • CPL_VSIS3_USE_BASE_RMDIR_RECURSIVE—Certaines anciennes implémentations compatibles avec S3 ne prennent pas en charge l’opération de suppression en bloc. Définissez cette option sur False pour ces fournisseurs. La valeur par défaut est True.

    • AWS_HTTPS—Définissez cette valeur sur False pour utiliser des requêtes HTTP. Certains serveurs peuvent être configurés pour ne prendre en charge que les demandes HTTPS. La valeur par défaut est True.

  • Google

    • GS_NO_SIGN_REQUEST—Connectez-vous de manière anonyme aux compartiments (conteneurs) ne nécessitant pas d’accès authentifié. La valeur par défaut est True. Cette option est prise en charge pour l’accès à un fichier Parquet.

    • GS_USER_PROJECT—Il est possible d’accéder aux compartiments Paiement par le demandeur en définissant des clés OAuth2 et un projet à facturer. Définissez le projet en utilisant cette option et définissez des clés OAuth2 en utilisant d’autres options et non des clés HMAC comme ID ou clé d’accès secrète.

    • GS_OAUTH2_REFRESH_TOKEN—Indiquez un jeton d’accès d’actualisation OAuth2. Définissez les informations d’identification du client OAuth2 à l’aide de GS_OAUTH2_CLIENT_ID et de GS_OAUTH2_CLIENT_SECRET.

    • GOOGLE_APPLICATION_CREDENTIALS—Indiquez les informations d’identification OAuth2 du compte de service à l’aide d’un fichier .json contenant une clé privée et l’adresse e-mail d’un client. Cette option est prise en charge pour l’accès à un fichier Parquet.

    • GS_OAUTH2_PRIVATE_KEY—Indiquez les informations d’identification OAuth2 du compte de service avec une chaîne de clé privée. GS_AUTH2_CLIENT_EMAIL doit être défini.

    • GS_OAUTH2_PRIVATE_KEY_FILE—Indiquez les informations d’identification OAuth2 du compte de service avec une clé privée issue d’un fichier. GS_AUTH2_CLIENT_EMAIL doit être défini.

    • GS_AUTH2_CLIENT_EMAIL—Indiquez les informations d’identification OAuth2 du compte de service avec l’adresse e-mail d’un client.

    • GS_AUTH2_SCOPE—Indiquez la portée OAuth2 du compte de service. Les valeurs valides sont https://www.googleapis.com/auth/devstorage.read_write (par défaut) et https://www.googleapis.com/auth/devstorage.read_only.

    • GDAL_HTTP_HEADER_FILE—Indiquez les informations d’identification de porteur stockées dans un fichier externe.

  • Alibaba

    • OSS_Virtual_Hosting—Si vous utilisez des fournisseurs Cloud Alibaba ou compatibles S3 qui ne prennent en charge que des requêtes de type chemin d’accès, définissez cette option sur True. Il est recommandé d’utiliser l’hébergement virtuel s’il est pris en charge. La valeur par défaut est True.

    • OSS_HTTPS—Définissez cette valeur sur False pour utiliser des requêtes HTTP. Certains serveurs peuvent être configurés pour ne prendre en charge que les demandes HTTPS. La valeur par défaut est True.

  • WebHDFS

    • WEBHDFS_REPLICATION (nombre entier) : la valeur de réplication est utilisée pour créer un fichier.

    • WEBHDFS_PERMISSION (nombre décimal) : un masque d’autorisation est utilisé pour créer un fichier.

Si plusieurs paramètres d’authentification sont fournis, la priorité suivante s’applique :

  • Azure—AZURE_STORAGE_CONNECTION_STRING, nom ou clé de compte, AZURE_STORAGE_SAS_TOKEN, AZURE_NO_SIGN_REQUEST ou RBAC.

  • Amazon—AWS_NO_SIGN_REQUEST, ID ou clé d’accès, AWS_SESSION_TOKEN, AWS Credential Profile ou IAM Role.

  • Google—GS_NO_SIGN_REQUEST, ID ou clé d’accès, GDAL_HTTP_HEADER_FILE, (GS_OAUTH2_REFRESH_TOKEN or GS_OAUTH2_CLIENT_ID and GS_OAUTH2_CLIENT_SECRET), GOOGLE_APPLICATION_CREDENTIALS, (GS_OAUTH2_PRIVATE_KEY or GS_OAUTH2_CLIENT_EMAIL), (GS_OAUTH2_PRIVATE_KEY_FILE or GS_OAUTH2_CLIENT_EMAIL) ou IAM Role.

  • Ozone

    • AWS_PROFILE—Les profils d’informations d’identification AWS sont automatiquement utilisés si la clé d’accès ou l’ID est manquant. Cette option peut être utilisée pour préciser le profil à utiliser.

    • AWS_Virtual_Hosting—Si vous utilisez des fournisseurs Cloud Amazon S3 ou compatibles S3 qui ne prennent en charge que des requêtes de type chemin d’accès, définissez cette option sur True. Il est recommandé d’utiliser l’hébergement virtuel s’il est pris en charge. La valeur par défaut est True.

    • AWS_HTTPS—Définissez cette valeur sur False pour utiliser des requêtes HTTP. Certains serveurs peuvent être configurés pour ne prendre en charge que les demandes HTTPS. La valeur par défaut est True.

    • CPL_VSIS3_USE_BASE_RMDIR_RECURSIVE—Certaines anciennes implémentations compatibles avec S3 ne prennent pas en charge l’opération de suppression en bloc. Définissez cette option sur False pour ces fournisseurs. La valeur par défaut est True.

    • x-amz-storage-class—Spécifiez REDUCED_REDUNDANCY pour écrire dans un seul conteneur d’ozone car il contient un nœud de données unique.

  • Web

    Lorsque vous utilisez l’option Web, vous pouvez accéder à un point de terminaison HTTP/HTTPS authentifié à l’aide d’un fichier ACS. Les paramètres d’authentification sont transmis en tant qu’options du fournisseur et sont utilisés pour accéder au point de terminaison.

    • GDAL_HTTP_USERPWD—Utilisateur et mot de passe HTTP à utiliser pour la connexion. Ils doivent être au format [user name]:[password]. Utilisez GDAL_HTTP_AUTH pour déterminer la méthode d’authentification.

    • GDAL_HTTP_NETRC_FILE—Définissez l’emplacement d’un fichier .netrc.

    • GDAL_HTTP_HEADERS—Spécifiez les en-têtes dans une liste séparée par des virgules de key:value pairs.

    • GDAL_HTTP_BEARER—Définissez le jeton d’accès du porteur HTTP OAuth 2.0 à utiliser pour la connexion. Ce paramètre doit être utilisé avec GDAL_HTTP_AUTH=BEARER.

    • GDAL_HTTP_AUTH—Sélectionnez le type de méthode d’authentification à utiliser : [BASIC/NTLM/NEGOTIATE/ANY/ANYSAFE/BEARER].

    • GDAL_HTTP_SSLCERT—Nom de fichier du certificat client SSL pour l’authentification PKI.

    • GDAL_HTTP_SSLKEY—Chemin d’accès au fichier de clé privée du certificat client TLS et SSL pour l’authentification PKI.

    • GDAL_HTTP_KEYPASSWD—Phrase secrète pour la clé privée de GDAL_HTTP_SSLKEY.

Outre les options du fournisseur de services répertoriées ci-dessus, il est possible d’utiliser l’option ARC_DEEP_CRAWL avec tous les fournisseurs de services. Si elle est définie sur True, cette option permet d’identifier les fichiers CRF sans extension et les produits raster compatibles dans le Cloud. Il s’agit d’une opération de grande ampleur et il est recommandé de définir cette option sur False pour une analyse et une navigation plus rapides dans le catalogue. La valeur par défaut est False.

Les services de distribution de jetons personnalisés (par exemple, la collecte de données de Planetary Computer) peuvent être authentifiés à l’aide des options de fournisseur ARC_TOKEN_SERVICE_API (URL du fournisseur de jetons) et ARC_TOKEN_OPTION_NAME (type de jeton du fournisseur de services).

Remarque :

L’option GDAL_DISABLE_READDIR_ON_OPEN est disponible avec tous les fournisseurs de services. Pour améliorer les performances de chargement des rasters basés sur le Cloud, cette option est définie sur NO par défaut. Si le raster se trouve dans un dossier contenant plus de 30 000 éléments, définissez cette option sur YES.

Colonnes de la table de valeurs :

  • Name—The name of the provider configuration.

  • Value—The value of the provider configuration.

Value Table

Dossier

(Facultatif)

Dossier indiqué par le paramètre Bucket (Container) Name (Nom du compartiment [conteneur]) dans lequel le jeu de données raster ou le fichier Parquet est stocké. Si vous utilisez cet emplacement pour la sortie des outils de géotraitement raster, il s’agit du dossier dans lequel le jeu de données raster en sortie est stocké.

String

Authentification

(Facultatif)

Nom de connexion de l’authentification OAuth 2.0.

Une connexion valide doit être configurée dans la boîte de dialogue Options de l’onglet Authentication (Authentification).

String

Sortie dérivée

Etiqueter Explication Type de données

Fichier de connexion en sortie

Chemin d’accès au fichier de connexion au stockage cloud.

File

Environnements

Cet outil n’utilise pas d’environnement de géotraitement.

Informations de licence

  • Basic: Oui
  • Standard: Oui
  • Advanced: Oui