Skip to main content

Utiliser des enregistrements de stockage Microsoft Azure

Utilisez les enregistrements de fichiers stockés dans un conteneur de stockage Microsoft Azure en tant qu’entrée dans ArcGIS Data Pipelines.

Remarques sur l’utilisation

Gardez les points suivants à l’esprit lorsque vous utilisez le stockage Microsoft Azure :

  • Pour utiliser un jeu de données issu du stockage Azure, vous devez d’abord créer un élément de data store. Les éléments de data store stockent de manière sécurisée les informations d’identification et de connexion qui permettent à Data Pipelines de lire les données. Pour créer un data store de stockage Microsoft Azure, consultez Ajouter un élément de data store de stockage cloud.
  • Pour modifier l’élément de data store que vous avez configuré, utilisez le paramètre Data store item (Élément de data store) pour supprimer l’élément actuellement sélectionné, et utilisez le bouton Select item (Élément sélectionné) pour parcourir le contenu et sélectionner un élément de data store existant.

  • Utilisez le paramètre Dataset path (Chemin du jeu de données) pour spécifier le nom du jeu de données ou le nom du dossier qui contient le jeu de données. Par exemple, vous pouvez spécifier des chemins de jeux de données en procédant comme suit :

    • Faites référence à un seul fichier en indiquant le chemin de ce fichier, tel que Hurricanes.shp ou CustomerInfo.csv.

    • Faites référence à un dossier qui contient plusieurs jeux de données en spécifiant un chemin tel que MyFolder/. Tous les fichiers dans un dossier doivent avoir la même structure et être du même type.

    • Faites référence à des types de fichiers spécifiques dans un dossier qui contient plusieurs fichiers et formats en spécifiant un chemin tel que MyFolder/*.parquet. Dans cet exemple, seuls les fichiers Parquet sont lus. Tous les fichiers Parquet dans le dossier doivent avoir la même structure.

    • Faites référence à plusieurs fichiers et dossiers imbriqués qui utilisent des modèles globaux en spécifiant un chemin tel que MyFolder/**/*.geojson. Dans cet exemple, tous les sous-dossiers de MyFolder et tous les fichiers GeoJSON de ces sous-dossiers sont chargés.

    Le chemin du jeu de données doit également être relatif au conteneur et au dossier spécifiés lors de la création de l’élément de data store. Par exemple, si le chemin complet du jeu de données est https://myaccount.blob.core.windows.net/my-container/my-folder/my-subfolder/file.csv et que l’élément de data store indique my-container pour le conteneur et my-folder pour le dossier, le chemin du jeu de données doit être my-subfolder/file.csv.

  • Utilisez le paramètre File format (Format de fichier) pour indiquer le format de fichier du jeu de données spécifié dans le paramètre Dataset path (Chemin du jeu de données). Les options de format disponibles sont les suivantes :

    • CSV or delimited (CSV ou délimité) (par exemple, .csv, .tsv et .txt)

    • Parquet (.parquet)

    • GeoParquet (.parquet)

    • JSON (par exemple, .json ou fichier .txt contenant des données au format JSON)

    • GeoJSON (par exemple, .json et .geojson ou fichier .txt contenant des données au format GeoJSON)

    • Shapefile (.shp)

    • File Geodatabase (Géodatabase fichier) (.gdb)

    • ORC (.orc)

  • Si l’option de format CSV or delimited (CSV ou délimité) est spécifiée, les paramètres de définition de jeu de données suivants sont disponibles :

    • Delimiter (Délimiteur) - délimiteur utilisé pour fractionner les valeurs de champ (ou de colonne) et d’enregistrement (ou de ligne). Vous pouvez sélectionner l’une des options suivantes ou saisir votre propre valeur :

      • Comma (,) (Virgule [,]) : les valeurs des champs et des enregistrements sont séparées par des virgules (,). Il s’agit de l’option par défaut.

      • Tab (\t) (Tabulation [\t]) : les valeurs des champs et des enregistrements sont séparées par des tabulations (\t).

      • Pipe (|) (Barre verticale [|]) : les valeurs des champs et des enregistrements sont séparées par des barres verticales (|).

      • Semicolon (;) (Point-virgule [;]) : les valeurs des champs et des enregistrements sont séparées par des points-virgules (;).

      • Space ( ) (Espace ) : les valeurs des champs et des enregistrements sont séparées par des espaces ( ).

    Si vous saisissez votre propre valeur, elle doit comporter un ou deux caractères, espaces compris. Les délimiteurs de plus de deux caractères ne sont pas pris en charge.

    • Has header row (Comporte une ligne d’en-tête) - Indique si le jeu de données contient une ligne d’en-tête. Par défaut, la valeur est définie sur true (vrai). Si la valeur est définie que false (faux), la première ligne du jeu de données est considérée comme un enregistrement.

    • Has multiline data (Comporte des données multilignes) - Indique si le jeu de données a des enregistrements contenant des caractères de nouvelle ligne. Par défaut, cette propriété est définie sur faux. Si la valeur est définie sur true (vrai), les données contiennent des données multilignes lues et mises en forme comme il convient.

    • Character encoding (Encodage des caractères) – Type d’encodage utilisé pour lire le jeu de données spécifié. La valeur par défaut est UTF-8. Vous pouvez sélectionner l’une des options d’encodage disponibles ou indiquez un type d’encodage. Les espaces ne sont pas pris en charge dans les valeurs d’encodage. Par exemple, la spécification d’une valeur ISO 8859-8 est incorrecte ; la valeur doit plutôt être spécifiée comme ISO-8859-8.

    • Fields (Champs) : configure éventuellement les noms et les types de champ. Le bouton Configure schema (Configurer la structure) ouvre une boîte de dialogue qui contient les champs de jeu de données avec les options suivantes :

      • Include or drop fields (Inclure ou supprimer des champs) – Vous pouvez supprimer des champs en cochant la case en regard du champ concerné. Par défaut, tous les champs sont inclus.

      • Field name (Nom de champ) : nom du champ tel qu’il est utilisé dans Data Pipelines. Cette valeur peut être modifiée. Par défaut, cette valeur sera identique à celle du champ dans le jeu de données source sauf si le nom source contient des caractères non valides ou est un mot réservé. Les caractères non valides seront remplacés par un trait de soulignement (_) et les mots réservés se verront ajouter un trait de soulignement (_) en préfixe.

      • Field type (Type de champ) : type de champ tel qu’il est utilisé dans Data Pipelines.

    La suppression ou la modification des champs dans Data Pipelines ne modifie pas les données sources.

    Le tableau suivant décrit les types de champ disponibles :

    Type de champ Description
    Chaîne Les champs de type chaîne prennent en charge une chaîne de caractères de texte.
    Entier petit Les champs de type entier petit prennent en charge les nombres entiers compris entre -32768 et 32767.
    Entier Les champs de type entier prennent en charge les nombres entiers compris entre -2147483648 et 2147483647.
    Entier très grand Les champs de type entier très grand prennent en charge les nombres entiers compris entre -9223372036854776000 et 9223372036854776000.
    Flottant Les champs de type flottant prennent en charge les nombres fractionnels compris approximativement entre -3,4E38 et 3,4E38.
    Double Les champs de type double prennent en charge les nombres fractionnels compris approximativement entre -2,2E308 et 1,8E308.
    Date Les champs de type date prennent en charge les valeurs au format yyyy-MM-dd HH:mm:ss, par exemple, la valeur 2025-12-31 13:30:30. Si les valeurs de date sont stockées dans un format différent, utilisez l’outil Créer un champ de date/heure pour calculer un champ de date.
    Date uniquement Les champs de type date prennent en charge les valeurs au format yyyy-MM-dd, par exemple, la valeur 2025-12-31. Si les valeurs de date uniquement sont stockées dans un autre format, utilisez-les comme entrées de l’outil Calculate field (Calculer un champ) pour calculer un champ de date uniquement.
    Booléen Les champs de type booléen prennent en charge les valeurs True et False. Si un champ contient des représentations entières de valeurs booléennes (0 et 1), utilisez l’outil Mettre à jour des champs pour redéfinir les entiers en valeurs booléennes à la place.
  • Si l’option de format JSON est spécifiée, le paramètre Root property (Propriété racine) est disponible. Vous pouvez utiliser ce paramètre pour spécifier une propriété dans le fichier JSON à partir duquel les données sont lues. Vous pouvez référencer des propriétés imbriquées à l’aide d’un séparateur décimal entre chaque propriété, par exemple, property.subProperty. Par défaut, le fichier JSON entier est lu.
  • Si l’option de format GeoJSON est spécifiée, le paramètre Geometry type (Type de géométrie) est disponible. Ce paramètre est facultatif. Par défaut, le type de géométrie dans le fichier GeoJSON est utilisé. Si le fichier GeoJSON contient plusieurs types de géométrie, vous devez indiquer la valeur de ce paramètre. Les types de géométrie mixtes ne sont pas pris en charge et seul le type spécifié est utilisé. Les options sont Point, Multipoint, Polyline (Polyligne) et Polygon (Polygone). Un champ de géométrie contenant les localisations des données GeoJSON est automatiquement calculé et ajouté au jeu de données en entrée. Le champ de géométrie peut être utilisé en entrée pour les opérations spatiales ou permet d’activer la géométrie sur le résultat en sortie.
  • Si l’option de format File Geodatabase (Géodatabase fichier) est spécifiée, le paramètre Feature class or table name (Nom de la table ou classe d’entités) est disponible. Utilisez ce paramètre pour spécifier le nom de la classe d’entités ou de la table à utiliser comme entrée. Seules les tables et les classes d’entités ponctuelles, multi-points, polylignes et surfaciques sont prises en charge. Les jeux de données de type raster, mosaïque, trajectoire, etc. ne sont pas pris en charge. Les types d’entité avancés tels que les entités de réseau géométrique ne sont pas pris en charge.

  • Pour améliorer les performances de lecture des jeux de données en entrée, vous pouvez utiliser les options suivantes :

    • Utilisez le paramètre Use caching (Utiliser la mise en cache) pour stocker une copie du jeu de données. La copie en cache est conservée uniquement si au moins un onglet de navigateur ouvert sur l’éditeur est connecté. Cela peut accélérer l’accès aux données lors du traitement. Si les données sources ont été mises à jour depuis leur mise en cache, désélectionnez ce paramètre et prévisualisez ou exécutez à nouveau l’outil.

    • Après avoir configuré un jeu de données en entrée, configurez l’un des outils suivants pour limiter la quantité de données traitées :

Limitations

Les limitations connues sont les suivantes :

  • Data Pipelines prend uniquement en charge l’authentification de type clé partagée et signature d’accès partagé pour le stockage Azure. Si votre magasin de données est configuré pour utiliser un autre type d’informations d’identification pour l’authentification, il ne fonctionnera pas en tant qu’entrée dans Data Pipelines.

  • Vos informations d’identification doivent disposer au moins des autorisations READ et LIST. Ces autorisations permettent d’accéder au conteneur spécifié et de lire les jeux de données qu’il contient.

  • Si vous spécifiez un dossier qui contient plusieurs fichiers représentant un seul jeu de données, tous les fichiers identifiés dans le dossier de stockage Azure doivent avoir la même structure et le même type de géométrie.

  • Les fichiers compressés (.zip) ne sont pas pris en charge.

  • Les fichiers JSON Esri (.esrijson) ne sont pas pris en charge.

  • Le paramètre Enable soft delete for blobs (Activer la suppression réversible pour les objets blob) doit être désactivé pour les données Azure indiquées en entrée dans Data Pipelines.

  • Si le jeu de données inclut des noms de champ comportant des espaces ou des caractères non valides, les noms sont automatiquement mis à jour pour utiliser des traits de soulignement à la place. Ainsi, un champ nommé Population 2022 est renommé en Population_2022 et un champ nommé %Employed est renommé en _Employed.

Licences requises

Les licences et configurations suivantes sont requises :

  • Type d’utilisateur Creator ou Professional

  • Rôle d’éditeur, de facilitateur ou d’administrateur, ou rôle personnalisé équivalent

Afin d’en savoir plus sur la configuration requise pour Data Pipelines, reportez-vous à la rubrique Configuration requise.

De plus, Data Pipelines n’est disponible que si vous disposez d’une instance ArcGIS Data Pipelines Server configurée avec ArcGIS Enterprise.

Pour en savoir plus sur l’ajout d’éléments de data store à votre contenu, consultez Ajouter un élément de data store.

Haut