Skip to main content

Utilizar registros de almacenamiento de Microsoft Azure

Utilice registros de archivos almacenados en un contenedor de almacenamiento de Microsoft Azure como entrada de ArcGIS Data Pipelines.

Notas de uso

Tenga en cuenta lo siguiente al trabajar con el almacenamiento de Microsoft Azure:

  • Para utilizar un dataset del almacenamiento de Azure, primero debe crear un elemento de data store. Los elementos de data store almacenan de forma segura las credenciales y la información de conexión para que Data Pipelines pueda leer los datos. Para crear un almacén de datos de almacenamiento de Microsoft Azure, consulte Agregar un elemento de data store de almacenamiento en la nube.
  • Para cambiar el elemento de data store que configuró, utilice el parámetro Elemento de data store para eliminar el elemento seleccionado actualmente y utilice el botón Seleccionar elemento para examinar el contenido y seleccionar un elemento de data store existente.

  • Utilice el parámetro Ruta del dataset para especificar el nombre del dataset o el nombre de la carpeta que contiene el dataset. Por ejemplo, puede especificar rutas de datasets como sigue:

    • Referencie un solo archivo especificando la ruta de ese archivo como Hurricanes.shp o CustomerInfo.csv.

    • Referencie una carpeta que contenga varios datasets especificando una ruta como MyFolder/. Todos los archivos de la carpeta deben tener el mismo esquema y tipo de archivo.

    • Referencie los tipos de archivos específicos de una carpeta que contenga varios archivos y formatos especificando una ruta como MyFolder/*.parquet. En este ejemplo, solo se leerán los archivos de parquet. Todos los archivos de parquet de la carpeta deben tener el mismo esquema.

    • Referencie varios archivos y carpetas anidadas mediante el uso de patrones glob especificando una ruta como MyFolder/**/*.geojson. En este ejemplo se cargarán cualquier subcarpeta de MyFolder y cualquier archivo GeoJSON contenido en esas subcarpetas.

    La ruta del dataset también debe guardar relación con el contenedor y la carpeta que se han especificado al crear el elemento de data store. Por ejemplo, si la ruta del dataset completa es https://myaccount.blob.core.windows.net/my-container/my-folder/my-subfolder/file.csv y el elemento de data store especifica my-container para el contenedor y my-folder para la carpeta, la ruta del dataset debería ser my-subfolder/file.csv.

  • Utilice el parámetro Formato de archivo para especificar el formato de archivo del dataset especificado en el parámetro Ruta de dataset. Dispone de las siguientes opciones de formato:

    • CSV o delimitado (por ejemplo, .csv, .tsv y .txt)

    • Parquet (.parquet)

    • GeoParquet (.parquet)

    • JSON (por ejemplo, .json o un archivo .txt que contiene datos formateados como JSON)

    • GeoJSON (por ejemplo, .json y .geojson o un archivo .txt que contiene datos con formato GeoJSON)

    • Shapefile (.shp)

    • Geodatabase de archivos (.gdb)

    • ORC (.orc)

  • Si se especifica la opción de formato CSV o delimitado, estarán disponibles los siguientes parámetros de definición del dataset:

    • Delimitador: el delimitador se utiliza para dividir los valores de campo (o columna) y registro (o fila). Puede elegir entre las siguientes opciones o introducir un valor propio:

      • Coma (,): los valores de registro y campo se separan mediante comas (,). Esta es la opción predeterminada.

      • Tabulador (\t): los valores de registro y campo se separan mediante tabuladores (\t).

      • Barra vertical (|): los valores de registro y campo se separan mediante barras verticales (|).

      • Punto y coma (;): los valores de registro y campo se separan mediante puntos y comas (;).

      • Espacio (): los valores de registro y campo se separan mediante espacios ( ).

    Si introduce un valor propio, debe tener uno o dos caracteres, incluidos los espacios. No se admiten delimitadores de más de dos caracteres.

    • Tiene fila de encabezado: especifica si el dataset contiene una fila de encabezado. El valor predeterminado es true. Si se establece en false (falso), la primera fila del dataset se considerará un registro.

    • Tiene datos multilínea: especifica si el dataset incluye registros que contienen caracteres de nueva línea. El valor predeterminado es falso. Si se establece en true, los datos que contengan datos multilínea se leerán y formatearán correctamente.

    • Codificación de caracteres: especifica el tipo de codificación que se utilizará para leer el dataset especificado. El valor predeterminado es UTF -8. Puede elegir entre las opciones de codificación disponibles o especificar un tipo de codificación. No se admiten espacios en los valores de codificación. Por ejemplo, especificar un valor de ISO 8859-8 no es válido y debe especificarse como ISO-8859-8.

    • Campos: opcionalmente configura los nombres y tipos de campo. El botón Configurar esquema abre un cuadro de diálogo que contiene los campos de dataset con las opciones siguientes:

      • Incluir o anular campos: puede eliminar los campos activando la casilla de verificación situada junto al campo. Por defecto, se incluyen todos los campos.

      • Nombre de campo: nombre del campo tal y como se utilizará en Data Pipelines. Este valor se puede editar. De forma predeterminada, este valor será igual que el del campo del dataset de origen a menos que el nombre de origen contenga caracteres no válidos o sea una palabra reservada. Los caracteres no válidos se sustituirán por un guion bajo (_) y las palabras reservadas tendrán un prefijo y un guion bajo (_).

      • Tipo de campo: tipo de campo tal como se utilizará en Data Pipelines.

    La eliminación o modificación de campos en Data Pipelines no afectará a los datos de origen.

    En la siguiente tabla se describen los tipos de campos disponibles:

    Tipo de campo Descripción
    Cadena de caracteres Los campos de cadena de caracteres admiten una cadena de caracteres de texto.
    Entero pequeño Los campos de enteros pequeños admiten números enteros entre -32768 y 32767.
    Entero Los campos de enteros admiten números enteros entre -2147483648 y 2147483647.
    Entero grande Los campos de enteros grandes admiten números enteros entre -9223372036854776000 y 9223372036854776000.
    Flotante Los campos flotantes admiten números fraccionarios entre -3,4E38 y 3,4E38, aproximadamente.
    Doble Los campos dobles admiten números fraccionarios entre -2,2E308 y 1,8E308, aproximadamente.
    Fecha Los campos de fecha admiten valores en formato yyyy-MM-dd HH:mm:ss; por ejemplo, un valor válido es 2025-12-31 13:30:30. Si los valores de fecha se almacenan en un formato de diferente, utilice la herramienta Crear fecha y hora para calcular un campo de fecha.
    Solo fecha Los campos de fecha admiten valores en formato yyyy-MM-dd; por ejemplo, un valor válido es 2025-12-31. Si los valores de solo fecha se almacenan en un formato diferente, utilice los valores como entrada de la herramienta Calcular campo para calcular un campo de solo fecha.
    Booleano Los campos booleanos admiten valores de True y False. Si un campo contiene representaciones de enteros de valores booleanos (0 y 1), utilice la herramienta Actualizar campos para convertir los números enteros en valores booleanos.
  • Si se especifica la opción de formato JSON, el parámetro Propiedad de raíz está disponible. Puede utilizar este parámetro para especificar una propiedad en el JSON para leer datos. Puede hacer referencia a propiedades anidadas utilizando un separador decimal entre cada propiedad, por ejemplo, property.subProperty. De forma predeterminada, se leerá el archivo JSON completo.
  • Si se especifica la opción de formato GeoJSON, el parámetro Tipo de geometría está disponible. Este parámetro es opcional. De forma predeterminada, se utiliza el tipo de geometría del archivo GeoJSON. Si el archivo GeoJSON contiene más de un tipo de geometría, debe especificar el valor de este parámetro. Los tipos de geometría mixtos son incompatibles y solo se utilizará el tipo especificado. Las opciones son Punto, Multipunto, Polilínea y Polígono. Se calculará automáticamente un campo de geometría que contiene las ubicaciones de los datos GeoJSON y se agregará al dataset de entrada. El campo geometría puede utilizarse como entrada para operaciones espaciales o para activar la geometría en el resultado de salida.
  • Si se especifica la opción de formato Geodatabase de archivos, el parámetro Clase de entidades o nombre de tabla pasará a estar disponible. Utilice este parámetro para especificar el nombre de la clase o tabla de entidades que desea utilizar como entrada. Solo se admiten clases de entidades de punto, multipunto, polilínea y polígono, y tablas. No se admiten datasets como ráster, mosaico, trayectoria, etc. No se admiten tipos de entidades avanzadas, como las entidades de red geométrica.

  • Para mejorar el rendimiento de la lectura de los datasets de entrada, tenga en cuenta las opciones siguientes:

    • Utilice el parámetro Usar almacenamiento en caché para almacenar una copia del dataset. La copia en caché solo se mantiene mientras al menos una pestaña abierta del navegador esté conectada al editor. Esto puede hacer que sea más rápido acceder a los datos durante el procesamiento. Si los datos de origen se han actualizado desde que se almacenaron en caché, desmarque este parámetro y vuelva a realizar la vista previa o a ejecutar la herramienta.

    • Tras configurar un dataset de entrada, configure cualquiera de las herramientas siguientes que limitan la cantidad de datos que se procesan:

      • Filtrar por atributo: conserva un subconjunto de registros que contienen determinados valores de atributo.

      • Filtrar por extensión: conserva un subconjunto de registros dentro de una extensión espacial determinada.

      • Seleccionar campos: conserva solo los campos de interés.

      • Recortar: conserva un subconjunto de registros que intersecan con geometrías específicas.

Limitaciones

Las siguientes son limitaciones conocidas:

  • Data Pipelines solo admite los tipos de autenticación Clave compartida y Firma de acceso compartido para Azure Storage. Si el data store está configurado para usar otro tipo de credencial de autenticación, no funcionará como entrada de Data Pipelines.

  • Sus credenciales deben tener como mínimo los permisos READ y LIST. Estos permisos permiten acceder al contenedor especificado y leer los datasets que contiene.

  • Si especifica una carpeta que contiene varios archivos que representan un dataset individual, todos los archivos identificados en la carpeta de almacenamiento de Azure deben tener el mismo esquema y tipo de geometría.

  • No se admiten archivos comprimidos (.zip).

  • Los archivos JSON de Esri (.esrijson) no son compatibles.

  • Los datos de Azure que se introducen en Data Pipelines deben tener Habilitar eliminación temporal para blobs deshabilitado.

  • Si el dataset incluye nombres de campo con espacios o caracteres no válidos, los nombres se actualizan automáticamente para utilizar guiones bajos. Por un ejemplo, un campo llamado Population 2022 cambia el nombre a Population_2022 y un campo llamado %Employed cambia el nombre a _Employed.

Requisitos de licencia

Se requieren las siguientes licencias y configuraciones:

  • Tipo de usuario Creator o Professional

  • Rol de publicador, moderador o administrador, o rol personalizado equivalente

Para obtener más información sobre los requisitos de Data Pipelines, consulte Requisitos.

Además, Data Pipelines solo está disponible si tiene un ArcGIS Data Pipelines Server configurado con ArcGIS Enterprise.

Para obtener más información sobre cómo agregar elementos de data store al contenido, consulte Agregar un elemento de data store.

Volver al principio