Didacticiel : créer un pipeline de données

Apprenez à créer un processus pour préparer et intégrer des données issues de différentes sources en un jeu de données qui est mis à disposition dans votre environnement SIG.

Obtenir les données en entrée

Accédez à l’URL de l’élément ArcGIS Online suivante et choisissez de télécharger le fichier : https://arcgis.com/home/item.html?id=5516ef1c4db846fab0a34a34626c263e

Un fichier intitulé CHRA_FERRY_ROUTES_SP.geojson est téléchargé.

Ouvrez l’application ArcGIS Data Pipelines et créez un pipeline de données

Pour ouvrir l’application Data Pipelines et commencer à créer un pipeline de données, procédez comme suit :

Connectez-vous à ArcGIS Enterprise à l’aide de votre compte et accédez à l’application Data Pipelines (bêta) à l’aide du lanceur d’applications .

La page de la bibliothèque Data Pipelines s’affiche.
Cliquez sur Create data pipeline (Créer un pipeline de données).

L’éditeur de pipeline de données s’ouvre.

Remarque :

Si c’est la première fois que vous ouvrez l’éditeur de pipeline de données, une visite guidée s’affiche. Choisissez Start tour (Démarrer la visite) ou Skip (Ignorer).

Ajouter une source de données

Une source de données charge les données dans le pipeline de données en vue de leur préparation. Pour ajouter une source de données au diagramme, procédez comme suit :

Cliquez sur Inputs (Entrées) dans la barre d’outils Éditeur.

Le volet Inputs (Entrées) apparaît.
Cliquez sur Fichier.

La boîte de dialogue modale Select a file (Sélectionner un fichier) apparaît.
Choisissez Upload new (Charger nouveau), puis cliquez sur Next (Suivant).

La boîte de dialogue modale New itel (Nouvel élément) s’ouvre.
Dans la fenêtre modale New item (Nouvel élément), cliquez sur Your device (Votre appareil).

Le navigateur de fichiers s’ouvre.
Recherchez et sélectionnez le fichier que vous avez précédemment téléchargé intitulé CHRA_FERRY_ROUTES_SP.geojson.

Vous êtes renvoyé à la fenêtre modale New item (Nouvel élément).
Donnez un titre au nouvel élément et cliquez sur Save (Enregistrer).

Vous êtes renvoyé à l’éditeur de pipeline de données avec un élément File (Fichier) ajouté à la zone d’affichage et le volet File (Fichier) ouvert.
Dans le volet File (Fichier), cliquez sur Preview (Aperçu).

L’aperçu est chargé.
Explorez le jeu de données en entrées de l’une des manières suivantes :
- Cliquez sur l’onglet Table preview (Aperçu de la table) pour consulter une représentation tabulaire du jeu de données.
- Cliquez sur l’onglet Map preview (Aperçu de la carte) pour consulter les localisations du jeu de données sur une carte. Dans l’aperçu de la carte, vous pouvez zoomer, vous déplacer et inspecter des attributs.
- Cliquez sur l’onglet Schema (Structure) pour vérifier la structure du jeu de données.
- Cliquez sur l’onglet Messages pour examiner les messages renvoyés par l’action d’aperçu.

Préparer les données

Data Pipelines inclut des outils capables de nettoyer et transformer des données. Parmi ces outils, citons l’outil Filter by attribute (Filtrer par attribut) qui permet de sélectionner les itinéraires les plus empruntés et l’outil Select fields (Sélectionner des champs) qui permet de conserver les champs spécifiés dans la sortie finale.

Pour préparer les données à l’aide des outils Filtrer par attribut et Sélectionner des champs, procédez comme suit :

Cliquez sur le bouton de fermeture qui se trouve en haut de la fenêtre d’aperçu.
Cliquez sur Tools (Outils) dans la barre d’outils Éditeur, puis cliquez sur Filter by attribute (Filtrer par attribut).

L’élément Filter by attribute (Filtrer par attribut) est ajouté au canevas.
Configurez Filter by attribute (Filtrer par attribut) pour utiliser le jeu de données du fichier en entrée en procédant de l’une des manières suivantes :
- Faites glisser le pointeur à partir du port en sortie de l’élément **File (Fichier)**au port en entrée de l’élément Filter by attribute (Filtrer par attribut).
- Dans le volet Filter by attribute (Filtrer par attribut) panel, choisissez le jeu de données du fichier en utilisant le paramètre Input dataset (Jeu de données en entrée).
Cliquez sur le bouton + Build new query (Créer une nouvelle requête) dans le volet de l’outil.

La boîte de dialogue Query builder (Générateur de requêtes) s’ouvre.
Cliquez sur Expression, puis sur Next (Suivant).
Dans le sélecteur de champs, sélectionnez FREQUENCY_OF_USE_IND. Entrez la valeur High dans la zone de texte.
Cliquez sur Add (Ajouter) dans la boîte de dialogue Query builder (Générateur de requêtes).
Cliquez sur le bouton Tools (Outils) dans la barre d’outils Éditeur et cliquez sur Select fields (Sélectionner des champs).

L’élément Select fields (Sélectionner des champs) est ajouté au canevas.
Connectez le port en sortie de l’élément Filter by attribute (Filtrer par attribut) au port en entrée de l’élément Select fields (Sélectionner des champs) en utilisant l’une des options de l’étape 3 ci-dessus.
Dans le volet Select fields (Sélectionner des champs), cliquez sur le bouton +Field (+Champ) et choisissez geometry (géométrie), FERRY_ROUTE_ID, ROUTE_NAME et MANIFEST_TYPE. Cliquez sur Done (Terminé) pour enregistrer la sélection des champs.

Vous pouvez utiliser la zone de texte de recherche pour trouver rapidement les champs.
Cliquez sur Preview (Aperçu) et examinez le résultat obtenu.

Exporter les données vers ArcGIS Enterprise

Le jeu de données en entrée Coastal Ferry Routes a été filtré pour ne contenir que les itinéraires dont la fréquence d’utilisation est importante et une sélection de champs qui comportent des informations présentant un intérêt. Pour exporter ce jeu de données dans une couche d’entités dans votre contenu ArcGIS Enterprise, procédez comme suit :

Cliquez sur Outputs (Sorties) dans la barre d’outils Éditeur, puis sur Feature layer (Couche d’entités).

L’élément Feature layer (Couche d’entités) est ajouté au canevas.
Connectez le port en sortie de l’élément Select fields (Sélectionner des champs) au port en entrée de l’élément Feature layer (Couche d’entités).
Assurez-vous que le champ Geometry (Géométrie) est renseigné avec la valeur geometry.
Pour Output name (Nom en sortie), indiquez un titre unique à attribuer à la couche d’entités en sortie.
Dans le menu d’action du diagramme, cliquez sur le bouton Auto layout diagram (Mise en page automatique du diagramme) .

Les éléments du diagramme sont automatiquement déplacés vers une mise en page vierge.
Dans la barre d’actions située en haut de la zone d’affichage, cliquez sur Run (Exécuter) .

Le pipeline de données s’exécute alors et la console Latest run details (Détails de la dernière exécution) apparaît. À la fin du traitement, la couche d’entités est affichée dans l’onglet Output results (Résultats en sortie).
Vous pouvez également cliquer sur la couche d’entités pour ouvrir la page de ses éléments dans ArcGIS Enterprise.
Si vous le souhaitez, cliquez sur Save and open (Enregistrer et ouvrir) dans la barre d’outils de l’éditeur et sélectionnez Save as (Enregistrer sous) pour enregistrer le pipeline de données en tant que nouvel élément dans votre contenu.