Traitement des données

Remarque :

Dans ArcGIS Enterprise 12.0, ArcGIS Data Pipelines est une fonctionnalité bêta. Dans la version bêta, cette fonctionnalité peut être incomplète et présenter des problèmes de qualité et de performances connus qui ne sont pas pris en charge par le support technique Esri.

Vous pouvez signaler des problèmes liés à cette fonctionnalité sur le site ArcGIS Enterprise 12.0 Beta Features Early Adopter Community.

ArcGIS Data Pipelines effectue un traitement par lots sur des données vectorielles et tabulaires stockées, telles que les données d’une couche d’entités, d’un Cloud store ou d’un object store comme Amazon S3 et Google BigQuery. Data Pipelines offre des fonctionnalités de préparation et d’ingénierie des données qui vous permettent de fusionner et de créer des données de manière à les intégrer dans ArcGIS. Le traitement qui peut être effectué utilise des outils qui constituent des jeux d’outils dans les catégories suivantes :

Clean (Nettoyer) : permettent de nettoyer les données. Vous pouvez supprimer les champs inutiles, par exemple. Vous pouvez également modifier les champs ou remplir des valeurs manquantes.
Construct (Construire) : permet de créer des champs qui découlent de champs existants ou des propriétés de la couche. Vous pouvez, par exemple, ajouter et calculer un nouveau champ, normaliser, transformer ou reclasser un champ existant et ajouter un champ en fonction de la géométrie de la couche en entrée.
Format : permet de modifier le format des champs ou de réorganiser les champs dans la classe d’entités ou table. Vous pouvez par exemple convertir des champs temporels, coder des champs catégoriels ou réduire les dimensions des champs existants.
Integrate (Intégrer) : permet d’intégrer ou d’ajouter des données d’une autre source de données dans la classe d’entités ou table en entrée. Vous pouvez par exemple joindre des champs ou ajouter des champs en enrichissant les données.
Jeux de données en sortie - Choisissez le type de sortie à écrire et stockez le résultat.

Exemples

Les scénarios suivants sont des exemples d’utilisation de Data Pipelines :

En tant qu’expert en mégadonnées, vous pouvez combiner des jeux de données disparates et calculer des variables en tant que champs à l’aide des fonctions ArcGIS Arcade.
En tant qu’analyste SIG, vous pouvez créer et partager des processus de préparation des données reproductibles.
En tant qu’expert environnemental, vous pouvez combiner et standardiser des informations de terrain, stockées sous forme d’une collection de fichiers .csv.

Outils

Les tableaux des sections ci-après présentent les outils des diverses catégories dans l’éditeur Data Pipelines.

Nettoyer

Les outils suivants font partie de la catégorie Clean (Nettoyer) :

Outil	Description
Découper	L’outil Découper extrait les enregistrements en entrée superposés aux enregistrements de découpage.
Filtrer par attribut	L’outil Filter by attribute (Filtrer par attribut) renvoie un sous-ensemble d’un jeu de données selon une requête. La sortie est un nouveau jeu de données contenant uniquement les enregistrements répondant à la condition spécifiée dans la requête.
Filtrer selon l’étendue	L’outil Filtrer selon l’étendue renvoie un sous-ensemble d’un jeu de données en se basant sur l’étendue spatiale spécifiée. La sortie est un nouveau jeu de données contenant uniquement les enregistrements qui se trouvent géographiquement au sein de l’étendue spécifiée.
Supprimer les doublons	L’outil Supprimer les doublons supprime les enregistrements en double en fonction d’un ou de plusieurs champs clés. La sortie est un jeu de données sans enregistrements en double.
Sélectionner des champs	L’outil Sélectionner des champs conserve un ou plusieurs champs spécifiés dans le jeu de données en sortie. La sortie est un nouveau jeu de données contenant uniquement les champs spécifiés.
Simplifier la géométrie	L’outil Simplifier la géométrie simplifie la complexité des polylignes ou des polygones en supprimant les sommets superflus et en ne conservant que les sommets les plus critiques.

Créer

Les outils suivants font partie de la catégorie Construct (Créer) :

Outil	Description
Calculer un champ	L’outil Calculer un champ calcule les valeurs d’un champ nouveau ou existant. Vous pouvez utiliser les fonctions Arcade pour définir l’expression de calcul.
Créer un champ de date/heure	L’outil Créer un champ de date/heure crée un champ de date/heure avec des valeurs de champ existantes.
Créer une géométrie	L’outil Créer une géométrie crée un champ de géométrie à l’aide d’un ou de plusieurs champs.

Format

Les outils suivants font partie de la catégorie Format :

Outil	Description
Apparier les champs	L’outil Apparier les champs transforme la structure d’un jeu de données en le faisant correspondre à une structure cible.
Transposer	L’outil Pivot (Transposer) convertit un jeu de données long en jeu de données large en utilisant les différentes valeurs d’un champ existant pour créer de nouveaux champs.
Projeter la géométrie	L’outil Projeter la géométrie projette un champ de géométrie dans une nouvelle référence spatiale.
Désimbriquer le champ	L’outil Désimbriquer le champ renvoie des valeurs stockées dans des champs de type tableau, carte ou struct sous la forme de nouveaux champs ou de nouvelles lignes.
Mettre à jour des champs	L’outil Mettre à jour des champs met à jour le nom ou le type d’un champ.

Intégrer

Les outils suivants font partie de la catégorie Integrate (Intégrer) :

Outil	Description
Fusionner	L’outil Dissolve (Assembler) recherche les polygones ou les polylignes qui se superposent ou qui partagent une limite ou des attributs communs et les fusionne pour former un polygone ou une polyligne unique.
Joindre	L’outil Joindre relie des jeux de données en fonction des relations spécifiées. Les jeux de données peuvent être joints à l’aide d’attributs correspondants, de relations spatiales ou temporelles, voire d’une combinaison des trois.
Fusionner	L’outil Fusionner combine un ou plusieurs jeux de données dans un nouveau jeu de données unique. Vous pouvez combiner des jeux de données ponctuelles, linéaires, surfaciques ou tabulaires.
Synthétiser les attributs	L’outil Summarize attributes (Synthétiser les attributs) agrège les enregistrements et calcule des statistiques. Vous pouvez agréger tous les enregistrements, ou agréger en fonction de valeurs correspondantes dans un ou plusieurs champs.

Sorties

Le type de sortie suivant est pris en charge :

Outil	Description
Couche d’entités	La sortie Feature layer (Couche d’entités) écrit les jeux de données du pipeline de données dans une couche d’entités ou une table hébergée. Vous pouvez créer une couche d’entités ou une table, remplacer les données dans une couche d’entités ou une table existante ou bien ajouter et mettre à jour des enregistrements dans une couche d’entités ou une table existante.