Skip to main content

在动态影像中追踪对象

需具有 Image Analyst 许可才能使用。

动态影像的一项功能是在播放视频数据期间追踪其中的特定对象。 这些对象可处于静态或移动状态,可能被遮挡并重新出现,或者改变形状(例如一个人进入车辆)。 动态影像中的对象追踪功能将提供自动化和计算机辅助的工具,用于处理在视频影像中追踪对象时的各种情况。 它依靠深度学习和计算机视觉技术以帮助进行对象追踪、要素提取和匹配。 您可以构建深度学习对象追踪模型,使用一系列工具并选择并追踪感兴趣对象。 可以数字化与对象识别矩形对应的质心,并将其另存为工程地理数据库中的点类。 随后,当播放存档视频时将显示这些保存的点。

要求

动态影像中的对象追踪功能可以在 ArcGIS Pro 中与 ArcGIS Image Analyst 扩展模块配合使用。

注:

确保您的显卡驱动程序是最新的。

深度学习模型

在视频中追踪对象需要一个或多个经过训练的深度学习模型。 追踪的效率取决于深度学习训练样本数据的质量,以及感兴趣对象与训练数据的关联程度。 例如,要追踪一辆沿公路行驶的卡车,您必须从多个角度来标注卡车的训练样本。 训练样本的源(注记图像)必须为动态影像。 已标注的训练样本可用于训练深度学习模型以追踪对象,在本例中为卡车。 对于具有不同外观的对象(例如车辆),模型的追踪能力有限,但可能会成功地追踪较大型的休闲车辆或公共汽车。

必须安装深度学习框架包,才能在 ArcGIS Pro 中执行深度学习工作流。 可使用各种工具来准备视频和静态影像训练数据,标注对象,创建深度学习模型,进行推断,然后查看结果。 有关如何安装这些包的信息,请参阅 安装 ArcGIS 的深度学习框架

深度学习的运算量非常大,建议使用具有 CUDA 计算能力支持的 6.0 版本或更高版本的强大 GPU。

有关深度学习和深度学习工作流的详细信息,请参阅 深度学习简介ArcGIS Pro 中的深度学习 。 有关 ArcGIS 中深度学习工具套件的详细信息,请参阅 深度学习工具集概览

对象追踪选项卡

当在 内容 窗格中选择视频时, 对象追踪 快捷选项卡将启用。

FMV 对象追踪功能区

注:

在 ArcGIS Pro 中安装并启用深度学习包后,即可使用 对象追踪 选项卡。

以下部分介绍了 对象追踪 选项卡上各个组中的工具。

追踪对象组

借助 对象追踪 组中的以下工具,可以识别并管理视频数据中的对象追踪:

  • 启用追踪 - 使用指定的对象追踪器配置来激活对象追踪。

  • 添加对象 - 通过在对象周围单击或以交互方式绘制一个矩形来添加对象以执行对象追踪。 双击以激活持久性模式。

  • 移动对象 - 单击 追踪对象管理器 中的现有对象轨迹,然后选择 移动对象 。 对象周围的矩形将变为蓝色,支持您在对象的更新位置周围重新绘制矩形。 双击以激活持久性模式。

  • 移除对象 - 通过单击 追踪对象管理器 中的轨迹从视频播放器中移除追踪对象,然后选择 移除对象 。 此举会在表中保留轨迹,但会移除视频视图中的追踪矩形。 双击以激活持久性模式。

  • 删除对象 - 通过单击对象或在对象位置周围绘制一个框,从视频播放器和 追踪对象管理器 中移除追踪对象。 双击以激活持久性模式。 也可以使用 追踪对象管理器 窗格中的 删除对象 移除追踪对象。

保存组

使用 保存 组中的 对象至要素 工具,将追踪的对象质心保存到地理数据库中。

管理组

管理 组中的以下工具可帮助您管理对象追踪器:

  • 配置追踪器 - 配置对象追踪器并对默认对象追踪器模型应用更新。

  • 追踪对象 - 显示 追踪对象管理器 窗格。

配置对象追踪器

单击 配置追踪器 按钮以打开 配置对象追踪器 窗格。 该窗格包含 对象跟踪模型自动检测模型 设置。

配置对象追踪器

设置

使用 对象跟踪模型 参数选择深度学习模型并设置用于跟踪对象的附加参数。

单击浏览按钮 路径中的数据 打开 从路径添加深度学习模型 对话框。 通过提供 URL 或浏览至本地目录中的文件,可以指定深度学习模型包文件 (.dlpk) 的路径。 可以在 模型 文本框中为模型名称分配别名。 单击 添加 以加载模型并关闭该对话框。 模型名称将显示在 模型 下拉列表中,可从中进行选择。

这些设置包含控制对象追踪的选项,包括 最小对象大小(像素)检测丢失的轨迹恢复丢失的轨迹自动检测模型

  • 检测丢失的轨迹 - 指定是否根据外观变化(例如视角变化、遮挡或移出框架)成功追踪对象。 默认选中该选项。

    • 间隔(帧) - 应用程序检查对象外观变化的间隔,以帧数为单位。 默认值为 5。
  • 恢复丢失的轨迹 - 指定在追踪丢失后,是否尝试寻找对象。 默认选中该选项。

    • 置信度阈值 (0-1) - 成功恢复后,匹配的源图像要素与搜索的对象要素之间的最小比率。 置信度阈值是介于 0 到 1 之间的数值。 默认值为 0.1。

    • 重叠阈值 (0-1) - 成功恢复后,检测到的对象与搜索的对象之间的最小重叠比。 该阈值是介于 0 到 1 之间的数值。 默认值为 0.1。

    • 最大搜索间隔 - 当对象丢失时,以视频帧为单位定义的最大搜索间隔。 默认值为 60。

    • 状态队列大小 - 当对象在搜索间隔过期前丢失时,对象状态保持的帧数。

  • 自动检测模型 - 指定是否使用基于深度学习的检测器模型自动执行目标对象的检测和识别。 默认情况下取消选中该项。 通过使用浏览按钮 路径中的数据 浏览到本地目录中的文件并选择 .dlpk 文件或提供 URL,指定深度学习模型包文件的路径。

    • 间隔(帧) - 设置检查对象外观变化的间隔,以帧数为单位。 默认值为 5 帧。

    • 置信度阈值 (0-1) - 成功恢复后,匹配的源图像要素与搜索的对象要素之间的最小比率。 置信度阈值是介于 0 到 1 之间的数值。 默认值为 0.1。

追踪对象管理器窗格

可以在 追踪的对象 选项卡中查看并管理追踪的对象。 表中列出了每个跟踪对象的 状态ID 值(如下所述)。

  • 状态 - 每个追踪对象的状态:主动追踪、丢失或搜索中。

  • ID - 每个追踪对象的唯一标识符。

  • - 在其中识别对象的源视频文件。

启用追踪 处于活动状态时, 追踪对象管理器 窗格会与 追踪对象 功能区交互。

  • 启用追踪 - 使用指定的对象追踪器配置来激活对象追踪。

  • 添加对象 - 通过在对象周围单击或以交互方式绘制一个矩形来添加对象以执行对象追踪。 双击以激活持久性模式。

  • 移动对象 - 单击现有对象的追踪矩形选中并移动对象,然后在对象的已更新位置周围重新绘制该矩形。 双击以激活持久性模式。

  • 移除对象 - 通过单击对象或在对象位置周围绘制一个框来从视频播放器中移除追踪对象。 双击以激活持久性模式。

  • 删除对象 - 通过单击对象或在对象位置周围绘制一个框来从视频播放器和 追踪对象管理器 中移除追踪对象。 双击以激活持久性模式。

追踪对象

要追踪对象,完成以下步骤:

  1. 对象追踪显示 窗格中,加载深度学习模型并在 配置追踪器 窗格中设置追踪参数。

  2. 单击 启用追踪 以激活对象追踪工具。

  3. 单击 添加对象 ,在对象周围绘制矩形,或单击要在视频播放器中追踪的对象。

    在自动探测器模式下无需执行此步骤。

    将在每个视频帧中追踪该对象。

  4. 追踪对象管理器 选项卡中,查看追踪对象的状态。

  5. 如果对象被遮挡且追踪丢失,请单击 移动对象 ,并在对象的已更新位置周围重绘一个矩形,以重新进行追踪。

    在自动探测器模式下无需执行此步骤。

  6. 或者,单击 添加 以添加要追踪的对象。

    在自动探测器模式下无需执行此步骤。

  7. 或者,单击 移除 以将对象从主动追踪中移除。

    在自动探测器模式下无需执行此步骤。

  8. 追踪 选项卡的 保存 组中,单击 对象至要素 ,并指定用于将对象质心存储到要素类的输出位置和前缀名称。

    或者,指定是否将要素类添加至地图,并指定将保存质心的频率间隔,以秒为单位。