Skip to main content

URL

使用来自 URL 或 API 的记录作为 ArcGIS Data Pipelines 的输入。

用法说明

使用 URL 时，请谨记以下信息：

  • 使用 URL 参数指定要用作数据管道输入的数据集。 仅支持 HTTP 和 HTTPS URL。

  • 建议不要将 ArcGIS 要素图层和表用作 URL 输入。 应将 ArcGIS 要素图层添加至您的内容，然后将其用作要素图层输入。 有关将要素图层添加至您的内容的方法，请参阅从 URL 添加服务或文档。

  • 此 URL 需要身份验证参数用于确定 URL 是否需要身份验证才能访问数据（已启用），或者数据是否可公开访问（已禁用）。

  • 要从需要身份验证的 URL 加载数据，必须首先创建服务连接项目。 服务连接项目可安全地存储凭据和密码，这些内容将包含在对 URL 的请求中。 要创建服务连接，请按照以下“连接到需要身份验证的 URL”部分中的步骤进行操作。

  • 要更改之前配置的服务连接项目，请使用服务连接参数移除当前选定项目，然后选择以下选项之一：

    • 添加连接 - 创建服务连接项目。

    • 选择项目 - 浏览内容以选择现有服务连接项目。

  • 可以使用自定义标头参数指定应在 URL 请求中发送的标头的名称和值。 例如，API 可能需要设置为特定值的标头 Content-type。 建议不要指定凭据或密码作为标头。 凭据和密码应存储在服务连接项目中。

  • 可以使用响应格式参数以指定从 URL 返回的数据的格式。 以下格式选项可用：

    • CSV 或分隔文件（例如，.csv、.tsv 和 .txt）

    • JSON (.json)

    • GeoJSON (.geojson)

    • Parquet (.parquet)

    • GeoParquet (.parquet)

  • 如果指定了 CSV 或分隔格式选项，则可以使用以下数据集定义参数：

    • 分隔符 - 用于分割字段（或列）和记录（或行）值的分隔符。 可从以下选项中进行选择或者输入您自己的值：

      • 逗号 (,) - 字段和记录值以逗号 (,) 分隔。 这是默认设置。

      • 制表符 (\t) - 字段和记录值以制表符 (\t) 分隔。

      • 管道 (|) - 字段和记录以管道 (|) 分隔。

      • 分号 (;) - 字段和记录值以分号 (;) 分隔。

      • 空格 ( ) - 字段和记录值以空格 ( ) 分隔。

    如果您输入自己的值，其长度必须为一个或两个字符（包括空格）。 不支持长度超过两个字符的分隔符。

    • 具有标题行 - 指定数据集是否包含标题行。 默认为 true。 如果设置为 false，则将数据集的第一行视为一条记录。

    • 包含多行数据 - 指定数据集是否具有包含换行符的记录。 默认为 false。 如果设置为 true，将正确读取和格式化包含多行数据的数据。

    • 字符编码 - 指定用于读取指定数据集的编码类型。 默认值为 UTF-8。 您可以从可用的编码选项中进行选择，或指定一种编码类型。 编码值不支持空格。 例如，指定 ISO 8859-8 值是无效的，必须指定为 ISO-8859-8。

    • 字段 -（可选）配置字段名称和类型。 配置方案按钮可打开一个对话框，其中包含数据集字段，并提供以下选项：

      • 包括或删除字段 - 可以通过选中字段旁边的复选框来移除字段。 默认情况下，包含所有字段。

      • 字段名称 - 将在 Data Pipelines 中使用的字段名称。 可以编辑此值。 默认情况下，此值将与源数据集中的字段相同，除非源名称包含无效字符或为保留字。 无效字符将替换为下划线 (_)，保留字将以下划线 (_) 为前缀。

      • 字段类型 - 将在 Data Pipelines 中使用的字段类型。

    在 Data Pipelines 中移除或修改字段将不会修改源数据。

    下表介绍了可用字段类型：

    字段类型 描述
    字符串 字符串字段支持文本字符串。
    短整型 小整型字段支持介于 -32768 和 32767 之间的整数。
    整型 整型字段支持介于 -2147483648 和 2147483647 之间的整数。
    大整数 大整型字段支持介于 -9223372036854776000 和 9223372036854776000 之间的整数。
    浮点型 浮点型字段支持介于大约 -3.4E38 和 3.4E38 之间的小数。
    双精度 双精度型字段支持介于大约 -2.2E308 和 1.8E308 之间的小数。
    日期 日期字段支持格式为 yyyy-MM-dd HH:mm:ss 的值，例如 2025-12-31 13:30:30 为有效值。 如果日期值以其他格式存储，则使用创建日期时间工具计算日期字段。
    仅日期 日期字段支持格式为 yyyy-MM-dd 的值，例如 2025-12-31 为有效值。 如果仅日期值以其他格式存储，请使用这些值作为计算字段工具的输入以计算仅日期字段。
    布尔 布尔字段支持 True 和 False 值。 如果字段包含布尔值的整数表示（0 和 1），请使用更新字段工具将整数转换为布尔值。
  • 如果指定了 JSON 格式选项，则可以使用根属性参数。 可使用此参数在 JSON 中指定要从中读取数据的属性。 可通过在每个属性之间使用小数点分隔符引用嵌套属性，例如 property.subProperty。 默认将读取整个 JSON 文件。
  • 如果指定了 GeoJSON 格式选项，则可以使用 Geometry 类型参数。 设置此参数属于可选操作。 默认情况下，将使用 GeoJSON 文件中的几何类型。 如果 GeoJSON 文件包含多个几何类型，则必须指定此参数值。 不支持混合几何类型，仅可使用指定的类型。 选项包含点、多点、折线和面。 包含 GeoJSON 数据位置的几何字段将自动计算并添加到输入数据集中。 几何字段可用作空间操作的输入或在输出结果上启用几何。

  • 为了提高读取输入数据集的性能，请考虑以下选项：

    • 使用使用缓存参数存储数据集的副本。 仅在至少已连接一个打开并显示编辑器的浏览器选项卡时，缓存副本才会保留。 这样可以提高在处理过程中访问数据的速度。 如果源数据自缓存后已更新，请取消选中此参数并再次预览或运行该工具。

    • 在配置输入数据集之后，可以配置以下工具之一，以限制数据处理量：

连接到需要身份验证

要对安全 URL 进行身份验证，请完成以下步骤以在 Data Pipelines 编辑器中创建服务连接项目：

  1. 在 Data Pipelines 编辑器工具栏上，单击输入并选择 URL。

    添加 URL 对话框随即出现。

  2. 在 URL 参数中，提供数据集的 URL，其中包括前导 https://。

  3. 可以使用响应格式参数以指定从 URL 返回的数据集的格式。

  4. 启用此 URL 需要身份验证选项。

  5. 选择添加新的服务连接。

  6. 单击下一步。

    添加服务连接对话框随即出现。

  7. 在基础 URL 参数中，提供服务连接将向其发送凭据或密码的域名。

  8. 从身份验证类型下拉菜单中选择以下选项之一：

    • API 密钥 - 需要将用作标头值或查询参数的 API 密钥。

    • 基础 - 需要用户名和密码。

  9. 提供身份验证参数的值。 使用对话框底部的预览以确认格式符合 URL 的要求。

    如果您已在上一步中指定 API 密钥，请提供以下身份验证参数：

    • 参数位置 - 指定是在标头中发送 API 密钥，还是在查询参数中发送 API 密钥。

    • 参数名称 - 指定标头或查询参数的名称。

    • API 密钥 - 指定 API 密钥。

    • API 密钥前缀（可选）- 指定要在 API 密钥前面追加的值，例如 "Bearer"。 设置此参数属于可选操作。

  10. 单击下一步。

    随即显示项目详细信息窗格。

  11. 为新的服务连接项目提供标题。

    该标题将显示在您的内容中。 您还可以将项目存储在特定文件夹中，并提供项目标签或摘要。

  12. 单击保存以创建服务连接项目。

    URL 元素将添加到画布中，并将服务连接项目添加到您的内容中。 每次要从为服务连接项目配置的基本 URL 读取数据时，都可以重复使用该项目。

限制

以下为已知局限性：

  • 默认情况下，Data Pipelines 不允许连接到任何 URL 主机。 请与管理员联系，并请求将 allowedHosts 系统属性配置为接受来自您尝试连接的主机的读取。

  • 如果指定的 URL 使用无效 HTTPS 证书或者它没有响应，则不能将数据集用作 Data Pipelines 的输入。

  • 如果无法在 Data Pipelines 中读取指定 URL，但可以直接从中下载数据，请尝试使用已下载数据作为文件工具的输入。

  • 自定义 IP 地址不能用于 URL。 仅支持域名。

  • 建议不要将使用 arcgis.com 域的 URL 用作 URL 输入。 不使用 ArcGIS URL 作为输入，而是使用文件或要素图层输入工具。

  • 不支持自定义端口。

  • 不支持正向代理。

  • 不支持将某些标头值作为自定义标头参数的输入，其中包括 Authorization 标头。 有关如何安全地存储密码的信息，请参阅“连接到需要身份验证的 URL”部分。

  • 不支持重定向的 URL。

在 Data Pipelines 社区中了解有关诊断 URL 重定向的详细信息

  • 不支持 Esri JSON 文件 (.esrijson)。

  • 如果数据集包含带空格或无效字符的字段名称，名称会自动更新为使用下划线。 例如，名为 Population 2022 的字段将重命名为 Population_2022，名为 %Employed 的字段将重命名为 _Employed。

  • 要使用服务连接项目连接到需要身份验证的 URL，您必须为该项目的所有者。 服务连接项目为私有项目，无法进行共享。

有关 ArcGIS Data Pipelines 中的可用输入的详细信息，请参阅数据集配置。

返回顶部