Skip to main content

Verbindungsdatei für Cloud-Speicher erstellen (Data Management Tools)

Zusammenfassung

Erstellt eine Verbindungsdatei für von ArcGIS unterstützte Cloud-Speicher. Mit diesem Werkzeug können vorhandene Raster-Geoverarbeitungswerkzeuge CRF-Datasets (Cloud-Raster-Format) in den Cloud-Speicher-Bucket schreiben oder Raster-Datasets als Eingabe lesen (nicht nur CRF), die im Cloud-Speicher gespeichert sind. Das Werkzeug erstellt auch eine Cloud-Speicher-Verbindungsdatei, mit der Sie auf Apache Parquet-Dateien für die Zuordnung zugreifen können.

Verwendung

  • You must provide the necessary information to make a cloud storage connection—beispielsweise eine Zugriffsschlüssel-ID, eine Zeichenfolge eines geheimen Zugriffsschlüssels und einen Bucket-Namen. Sie können auch mit dem Parameter Provider-Optionen alternative Authentifizierungsmethoden verwenden.

    Weitere Informationen zum Herstellen einer Verbindung mit Cloud-Speichern

  • Das Werkzeug gibt eine binäre Cloud-Speicherverbindungsdatei (.acs) im ArcGIS-Cloud-Speicherformat aus.

  • Beim Zugriff auf ein an einem Cloud-Speicherort gespeichertes Raster-Dataset bzw. eine Parquet-Datei können Sie über einen Dateipfad wie c:/temp/amazons3.acs/someraster darauf verweisen. Wenn das Dataset oder die Datei in einem Ordner im Bucket gespeichert wird, muss der Ordnername im Pfad enthalten sein, z. B. c:/temp/amazons3.acs/foldername/someraster.

  • Dieses Werkzeug unterstützt Verbindungen mit Amazon Simple Storage Service (S3)-Buckets, Microsoft Azure Blob Storage-Containern, Microsoft Azure Data Lake Storage Gen2, Alibaba Cloud Object Storage Service-Buckets (OSS), Google Cloud Storage Service-Buckets (GCS), WebHDFS, MinIO und Ozone Object Storage Service-Buckets. Beim Zugriff auf eine Parquet-Datei werden Amazon S3, Azure Blob Storage-Container, Microsoft Azure Data Lake Storage Gen2 und GCS-Buckets unterstützt.

  • Das Werkzeug überprüft die angegebenen Anmeldeinformationen zur Laufzeit. Wenn die Verbindung nicht hergestellt werden kann, wird eine Warnung zurückgegeben.

  • OAuth 2.0-Authentifizierung mit Azure Active Directory wird mit benutzerinteraktiver Anmeldung für Azure und Azure Data Lake Storage Gen2 unterstützt. Zudem wird die OAuth 2.0-Authentifizierung für den Google Cloud Storage-Service unterstützt. Informationen zur Konfiguration finden Sie unter "Verbinden mit Authentifizierungsanbietern über ArcGIS Pro". Nach der Konfiguration und der Anmeldung des Benutzers wird der Authentifizierungsparameter für Google, Azure und Azure Data Lake Storage Gen2 aktiviert. Region und Endpunkt werden aus der Konfiguration abgerufen.

  • Die Unterstützung für vom Benutzer zugewiesene verwaltete Identitäten unter Verwendung von Entra-ID auf einer virtuellen Azure-Maschine ist für Azure und Azure Data Lake Storage Gen2 verfügbar.

  • Die rollenbasierte Zugriffssteuerung (Role-Based Access Control, RBAC) ist für Amazon-, Azure- und Google-Cloud-Provider verfügbar. Wenn Sie bei der Verwendung einer Amazon Elastic Compute Cloud (EC2), einer virtuellen Azure-Maschine oder einer Google Compute Engine-Instanz alle Authentifizierungsparameter leer lassen, kann ArcGIS Pro mit IAM-Rollen oder Azure RBAC auf den Blob-Speicher zugreifen. Für Amazon werden IMDSv1 und IMDSv2 unterstützt.

  • Für Microsoft Azure Data Lake Storage Gen2 gelten die gleichen Optionen wie für Azure, aber es werden echte Verzeichnisunterstützung und atomare Operationen mithilfe eines DFS-Endpunktes bereitgestellt. Bei einigen Netzwerkfehlern werden die Cloud-Operationen nach einem [exponentiellen Backoff] (https://docs.aws.amazon.com/general/latest/gr/api-retries.html) wiederholt.

  • Unterstützung für AWS IAM Identity Center (AWS SSO) ist für Amazon verfügbar. Um AWS SSO zu verwenden, installieren Sie AWS CLI, konfigurieren Sie AWS SSO, und melden Sie sich an. Die SSO-Start-URL und die SSO-Region für die Konfiguration von AWS SSO erhalten Sie von Ihrem Administrator. Die Sitzungstokenverwaltung wird von ACS automatisch übernommen, bis die AWS SSO-Anmeldung abläuft. Wenn die Anmeldung abläuft, melden Sie sich erneut an, damit das ACS gültig bleibt.

    Um mit AWS SSO arbeiten zu können, müssen die Parameterwerte für Region (Umgebung) und Service-Endpunkt sowie die Option AWS_PROFILE des Parameters Provider-Optionen vorhanden und korrekt sein.

  • Unterstützung für ein Verzeichnis-Bucket für Amazon S3 Express One Zone ist für Amazon verfügbar. Für den Zugriff auf den Verzeichnis-Bucket für Ihr Konto muss Ihr Administrator die Berechtigung für die S3-Zugriffssteuerungsliste (ACL) zuweisen. Alle für reguläre Buckets verfügbaren Authentifizierungsmethoden werden auch für Verzeichnis-Buckets unterstützt. Wenn Sie über ein temporäres Sitzungs-Token für den Zugriff auf Verzeichnis-Buckets verfügen, verwenden Sie die Parameter Zugriffsschlüssel-ID und Geheimer Zugriffsschlüssel sowie die Option AWS_S3SESSION_TOKEN des Parameters Provider-Optionen.

  • Überlegungen zur Performance und weitere Informationen finden Sie in der Dokumentation zu virtuellen GDAL-Dateisystemen.

    Achtung:

    Die Kompatibilität von Anbietern von S3-kompatiblem Speicher mit ArcGIS wird von Esri nicht getestet, zertifiziert oder garantiert. Zudem leistet Esri keinen technischen Support zur Behebung von Kompatibilitätsproblemen.

Parameter

Beschriftung Erläuterung Datentyp

Speicherort der Verbindungsdatei

Der Ordnerpfad, in dem die Verbindungsdatei (.acs) erstellt wird.

Folder

Name der Verbindungsdatei

Der Name der Cloud-Speicherverbindungsdatei.

String

Service-Provider

Gibt den Service-Provider an, der für den Cloud-Speicher verwendet wird.

  • Azurblau—Der Service-Provider ist Microsoft Azure, und der Zugriff auf eine Parquet-Datei wird unterstützt.

  • Amazon—Der Service-Provider ist Amazon S3, und der Zugriff auf eine Parquet-Datei wird unterstützt.

  • Google—Der Service-Provider ist Google Cloud Storage, und der Zugriff auf eine Parquet-Datei wird unterstützt.

  • Alibaba—Der Service-Provider ist Alibaba Cloud Storage.

  • WebHDFS—Der Service-Provider ist WebHDFS.

  • MinIO—Der Service-Provider ist MinIO.

  • Azure Data Lake—Der Service-Provider ist Microsoft Azure Data Lake Storage, und der Zugriff auf eine Parquet-Datei wird unterstützt.

  • Ozone—Der Service-Provider ist Ozone.

  • Web—Der für den Zugriff auf generische HTTP-URLs verwendete Service-Provider.

String

Name des Bucket (Containers)

Der Name des Cloud-Speichercontainers, in dem das Raster-Dataset oder die Parquet-Datei gespeichert ist. Wird dieser Speicherort für die Ausgabe des Raster-Geoverarbeitungswerkzeugs verwendet, ist dies der Container, in dem das Ausgabe-Raster-Dataset gespeichert wird. Dieser Container wird von vielen Cloud-Anbietern auch als Bucket bezeichnet.

String

Zugriffsschlüssel-ID (Kontoname)

(Optional)

Die Zeichenfolge der Zugriffsschlüssel-ID für den speziellen Cloud-Speichertyp. Dies kann auch der Kontoname sein, beispielsweise bei Azure.

String

Geheimer Zugriffsschlüssel (Kontoschlüssel)

(Optional)

Die Zeichenfolge des geheimen Zugriffsschlüssels, der zur Authentifizierung der Verbindung mit dem Cloud-Speicher verwendet wird.

Encrypted String

Region (Umgebung)

(Optional)

Die Regionszeichenfolge für den Cloud-Speicher. Wird sie angegeben, muss der Wert das Format aufweisen, das vom ausgewählten Cloud-Speicher definiert wird. Der Standard ist das Standardkonto des ausgewählten Cloud-Providers.

String

Service-Endpunkt

(Optional)

Der Service-Endpunkt (URI) des Cloud-Speichers, z. B. oss-us-west-1.aliyuncs.com. Wenn kein Wert angegeben wird, wird der Standardendpunkt des ausgewählten Cloud-Speichertyps verwendet. Bei Bedarf kann auch der umgeleitete CNAME-Endpunkt verwendet werden.

String

Provider-Optionen

(Optional)

Die Konfigurationsoptionen, die zum jeweiligen Typ von Cloud-Service gehören. Nicht alle Services bieten Optionen an. Sie müssen diesen Parameter nur festlegen, wenn Sie die Optionen aktivieren möchten. Um beim Erstellen einer Verbindungsdatei für den Cloud-Speicher auf eine Parquet-Datei zuzugreifen, wird, wie in den folgenden Beschreibungen erwähnt, nur eine Teilmenge der Optionen unterstützt.

  • Azure und Microsoft Azure Data Lake Storage

    • AZURE_STORAGE_SAS_TOKEN—Geben Sie eine Shared Access Signatur an. Stellen Sie sicher, dass der Wert URL-codiert ist und weder "?" noch "&" als führende Zeichen enthält. Bei Verwendung dieser Option muss der Parameter Geheimer Zugriffsschlüssel (Kontoschlüssel) leer sein. Diese Option wird für den Zugriff auf eine Parquet-Datei unterstützt.

    • AZURE_NO_SIGN_REQUEST—Stellen Sie eine anonyme Verbindung zu Buckets (Containern) her, die keinen authentifizierten Zugriff erfordern. Bei Verwendung dieser Option muss der Parameter Geheimer Zugriffsschlüssel (Kontoschlüssel) leer sein. Der Standardwert ist False. Diese Option wird für den Zugriff auf eine Parquet-Datei unterstützt.

    • AZURE_STORAGE_CONNECTION_STRING—Geben Sie eine Azure Storage-Verbindungszeichenfolge an. Mit dieser Zeichenfolge werden der Kontoname, der Schlüssel und der Endpunkt eingebettet. Bei Verwendung dieser Option müssen die Parameter Zugriffsschlüssel-ID (Kontoname) und Geheimer Zugriffsschlüssel (Kontoschlüssel) leer sein. Diese Option wird für den Zugriff auf eine Parquet-Datei unterstützt.

    • CPL_AZURE_USE_HTTPS—Legen Sie diese Option auf False fest, um HTTP-Anforderungen zu verwenden. Einige Server sind möglicherweise so konfiguriert, dass nur HTTPS-Anforderungen unterstützt werden. Der Standardwert ist True.

    • AZURE_IMDS_OBJECT_ID—Geben Sie die Objekt-ID der mit dem Azure Instance Metadata Service (IMDS) verwalteten Identität an, wenn für die Azure-VM mehrere vom Benutzer zugewiesene verwaltete Identitäten festgelegt sind.

    • AZURE_IMDS_CLIENT_ID—Geben Sie die Client-ID der mit dem Azure IMDS (Instance Metadata Service) verwalteten Identität an, wenn für die Azure-VM mehrere vom Benutzer zugewiesene verwaltete Identitäten festgelegt sind.

    • AZURE_IMDS_MSI_RES_ID—Geben Sie die Ressourcen-ID der mit dem Azure IMDS (Instance Metadata Service) verwalteten Identität an, wenn für die Azure-VM mehrere vom Benutzer zugewiesene verwaltete Identitäten festgelegt sind.

  • Amazon und MinIO

    • AWS_NO_SIGN_REQUEST—Stellen Sie eine anonyme Verbindung zu Buckets (Containern) her, die keinen authentifizierten Zugriff erfordern. Der Standardwert ist False. Diese Option wird für den Zugriff auf eine Parquet-Datei unterstützt.

    • AWS_SESSION_TOKEN—Geben Sie temporäre Zugangsdaten an. Diese Option wird für den Zugriff auf eine Parquet-Datei unterstützt.

    • AWS_S3SESSION_TOKEN—Geben Sie temporäre Anmeldeinformationen an, um auf einen Verzeichnis-Bucket zuzugreifen.

    • AWS_PROFILE—Wenn der Zugriffsschlüssel oder die Zugriffs-ID fehlt, werden automatisch AWS-Anmeldeinformationsprofile verwendet. Mit dieser Option kann das Profil angegeben werden, das verwendet werden soll. Diese Option wird für den Zugriff auf eine Parquet-Datei unterstützt.

    • AWS_REQUEST_PAYER—Wenn diese Option auf "requester" festgelegt ist, kann auf Buckets mit Zahlung durch den Anforderer zugegriffen werden.

    • AWS_Virtual_Hosting—Wenn Sie Amazon S3 oder mit S3 kompatible Cloud-Provider verwenden, die nur pfadabhängige Anforderungen unterstützen, müssen Sie diese Option auf True setzen. Es wird empfohlen, virtuelles Hosting zu verwenden, wenn dies unterstützt wird. Der Standardwert ist True.

    • CPL_VSIS3_USE_BASE_RMDIR_RECURSIVE—Die Operation zum Massenlöschen wird in einigen älteren S3-kompatiblen Implementierungen nicht unterstützt. Setzen Sie diese Option bei diesen Providern auf False. Der Standardwert ist True.

    • AWS_HTTPS—Legen Sie diese Option auf False fest, um HTTP-Anforderungen zu verwenden. Einige Server sind möglicherweise so konfiguriert, dass nur HTTPS-Anforderungen unterstützt werden. Der Standardwert ist True.

  • Google

    • GS_NO_SIGN_REQUEST—Stellt anonyme Verbindungen mit Buckets (Containern) her, für die kein authentifizierter Zugriff erforderlich ist. Der Standardwert ist True. Diese Option wird für den Zugriff auf eine Parquet-Datei unterstützt.

    • GS_USER_PROJECT—Wenn Sie OAuth2-Schlüssel und ein Projekt für die Rechnungsstellung festlegen, kann auf Buckets mit Zahlung durch den Anforderer zugegriffen werden. Legen Sie mit dieser Option das Projekt fest, und legen Sie mit anderen Optionen OAuth2-Schlüssel (keine HMAC-Schlüssel) als geheime Zugriffsschlüssel oder Zugriffs-IDs fest.

    • GS_OAUTH2_REFRESH_TOKEN—Geben Sie ein OAuth2-Aktualisierungszugriffstoken an. Legen Sie mit GS_OAUTH2_CLIENT_ID und GS_OAUTH2_CLIENT_SECRET OAuth2-Client-Anmeldeinformationen fest.

    • GOOGLE_APPLICATION_CREDENTIALS—Geben Sie die Anmeldeinformationen für das Service-Konto OAuth2 in Form einer .json-Datei an, die einen privaten Schlüssel und eine Client-E-Mail-Adresse enthält. Diese Option wird für den Zugriff auf eine Parquet-Datei unterstützt.

    • GS_OAUTH2_PRIVATE_KEY—Geben Sie die Anmeldeinformationen für das Service-Konto OAuth2 in Form eines privaten Schlüssels in einer Zeichenfolge an. GS_AUTH2_CLIENT_EMAIL muss festgelegt sein.

    • GS_OAUTH2_PRIVATE_KEY_FILE—Geben Sie mit einem privaten Schlüssel aus einer Datei Anmeldeinformationen für OAuth2 über ein Service-Konto an. GS_AUTH2_CLIENT_EMAIL muss festgelegt sein.

    • GS_AUTH2_CLIENT_EMAIL—Geben Sie mit einer Client-E-Mail-Adresse Anmeldeinformationen für OAuth2 über ein Service-Konto an.

    • GS_AUTH2_SCOPE—Geben Sie den Umfang für das Service-Konto OAuth2 an. Gültige Werte sind https://www.googleapis.com/auth/devstorage.read_write (Standardwert) und https://www.googleapis.com/auth/devstorage.read_only.

    • GDAL_HTTP_HEADER_FILE—Geben Sie in einer externen Datei gespeicherte Bearer-Authentifizierungsinformationen an.

  • Alibaba

    • OSS_Virtual_Hosting—Wenn Sie Alibaba oder mit S3 kompatible Cloud-Provider verwenden, die nur pfadabhängige Anforderungen unterstützen, müssen Sie diese Option auf True setzen. Es wird empfohlen, virtuelles Hosting zu verwenden, wenn dies unterstützt wird. Der Standardwert ist True.

    • OSS_HTTPS—Legen Sie diese Option auf False fest, um HTTP-Anforderungen zu verwenden. Einige Server sind möglicherweise so konfiguriert, dass nur HTTPS-Anforderungen unterstützt werden. Der Standardwert ist True.

  • WebHDFS

    • WEBHDFS_REPLICATION (ganze Zahl): Dieser Replikationswert wird beim Erstellen einer Datei verwendet.

    • WEBHDFS_PERMISSION (Dezimalzahl): Beim Erstellen einer Datei wird eine Berechtigungsmaske verwendet.

Wenn mehrere Authentifizierungsparameter angegeben werden, gilt für den Vorrang Folgendes:

  • Azure—AZURE_STORAGE_CONNECTION_STRING, Kontoname oder -schlüssel, AZURE_STORAGE_SAS_TOKEN, AZURE_NO_SIGN_REQUEST oder RBAC.

  • Amazon—AWS_NO_SIGN_REQUEST, Zugriffs-ID oder -Schlüssel oder AWS_SESSION_TOKEN, AWS Credential Profile oder IAM Role.

  • Google—GS_NO_SIGN_REQUEST, Zugriffs-ID oder -Schlüssel, GDAL_HTTP_HEADER_FILE, (GS_OAUTH2_REFRESH_TOKEN or GS_OAUTH2_CLIENT_ID and GS_OAUTH2_CLIENT_SECRET), GOOGLE_APPLICATION_CREDENTIALS``(GS_OAUTH2_PRIVATE_KEY or GS_OAUTH2_CLIENT_EMAIL), (GS_OAUTH2_PRIVATE_KEY_FILE or GS_OAUTH2_CLIENT_EMAIL) oder IAM Role.

  • Ozone

    • AWS_PROFILE—Wenn der Zugriffsschlüssel oder die Zugriffs-ID fehlt, werden automatisch AWS-Anmeldeinformationsprofile verwendet. Mit dieser Option kann das Profil angegeben werden, das verwendet werden soll.

    • AWS_Virtual_Hosting—Wenn Sie Amazon S3 oder mit S3 kompatible Cloud-Provider verwenden, die nur pfadabhängige Anforderungen unterstützen, müssen Sie diese Option auf True setzen. Es wird empfohlen, virtuelles Hosting zu verwenden, wenn dies unterstützt wird. Der Standardwert ist True.

    • AWS_HTTPS—Legen Sie diese Option auf False fest, um HTTP-Anforderungen zu verwenden. Einige Server sind möglicherweise so konfiguriert, dass nur HTTPS-Anforderungen unterstützt werden. Der Standardwert ist True.

    • CPL_VSIS3_USE_BASE_RMDIR_RECURSIVE—Die Operation zum Massenlöschen wird in einigen älteren S3-kompatiblen Implementierungen nicht unterstützt. Setzen Sie diese Option bei diesen Providern auf False. Der Standardwert ist True.

    • x-amz-storage-class—Geben Sie REDUCED_REDUNDANCY an, damit in einen einzelnen Ozone-Container geschrieben wird, da der Container über nur einen Datenknoten verfügt.

  • Web

    Bei Verwendung der Option Web kann über ein ACS auf einen authentifizierten HTTP/HTTPS-Endpunkt zugegriffen werden. Für den Zugriff auf den Endpunkt werden Authentifizierungsparameter als Optionen des Providers übergeben.

    • GDAL_HTTP_USERPWD—Der HTTP-Benutzer und das Kennwort für die Verbindung. Muss in folgendem Format vorliegen: [user name]:[password]. Verwenden Sie GDAL_HTTP_AUTH, um die Authentifizierungsmethode festzulegen.

    • GDAL_HTTP_NETRC_FILE—Legt den Speicherort einer .netrc-Datei fest.

    • GDAL_HTTP_HEADERS—Gibt Header als kommagetrennte Liste von key:value pairs an.

    • GDAL_HTTP_BEARER—Legt fest, dass für die Verbindung das HTTP OAuth 2.0 Bearer-Zugriffstoken verwendet werden soll. Muss zusammen mit GDAL_HTTP_AUTH=BEARER verwendet werden.

    • GDAL_HTTP_AUTH—Wählt den Typ der zu verwendenden Authentifizierungsmethode aus: [BASIC/NTLM/NEGOTIATE/ANY/ANYSAFE/BEARER].

    • GDAL_HTTP_SSLCERT—Der Dateiname des SSL-Client-Zertifikats für die PKI-Authentifizierung.

    • GDAL_HTTP_SSLKEY—Der Pfad der privaten Schlüsseldatei für TLS- und SSL-Client-Zertifikate für die PKI-Authentifizierung.

    • GDAL_HTTP_KEYPASSWD—Die Passphrase für den privaten Schlüssel von GDAL_HTTP_SSLKEY.

Zusätzlich zu den oben aufgeführten Provider-Optionen kann die Option ARC_DEEP_CRAWL mit allen Service-Providern verwendet werden. Wenn diese auf True festgelegt ist, werden mit dieser Option CRF-Dateien ohne Erweiterung und cloudfähige Raster-Produkte in der Cloud identifiziert. Da dies ein aufwendiger Vorgang ist, sollten Sie diese Option auf False setzen, um das Durchsuchen des Katalogs und das Durchforsten zu beschleunigen. Der Standardwert ist False.

Benutzerdefinierte Token-Anbieterservices, wie z. B. die Datensammlung von Planetary Computer, können mit den Provider-Optionen ARC_TOKEN_SERVICE_API (die URL des Token-Anbieters) und ARC_TOKEN_OPTION_NAME (der Typ des Service-Provider-Token) authentifiziert werden.

Hinweis:

Die Option GDAL_DISABLE_READDIR_ON_OPEN ist für alle Service-Provider verfügbar. Zur Verbesserung der Performance beim Laden von cloudbasierten Rastern ist die Option standardmäßig auf NO festgelegt. Wenn sich das Raster in einem Ordner mit mehr als 30.000 Elementen befindet, legen Sie die Option auf YES fest.

Spalten der Wertetabelle:

  • Name—The name of the provider configuration.

  • Value—The value of the provider configuration.

Value Table

Ordner

(Optional)

Der im Parameterwert Name des Bucket (Container) angegebene Ordner, in dem das Raster-Dataset oder die Parquet-Datei gespeichert ist. Wird dieser Speicherort für die Ausgabe für Raster-Geoverarbeitungswerkzeuge verwendet, ist dies der Ordner, in dem das Raster-Ausgabe-Dataset gespeichert wird.

String

Authentifizierung

(Optional)

Der Verbindungsname für OAuth 2.0-Authentifizierung.

Im Dialogfeld Optionen auf der Registerkarte Authentifizierung muss eine gültige Verbindung konfiguriert sein.

String

Abgeleitete Ausgabe

Beschriftung Erläuterung Datentyp

Ausgabeverbindungsdatei

Der Ausgabepfad der Cloud-Speicherverbindungsdatei.

File

Umgebungen

Dieses Werkzeug verwendet keine Geoverarbeitungsumgebungen.

Lizenzierungsinformationen

  • Basic: Ja
  • Standard: Ja
  • Advanced: Ja