004507：推断期间 GPU 内存不足。 无法自动估算批处理大小。 手动指定一个较小的批处理大小，然后重新运行工具。

描述

推断期间 GPU 内存不足。 无法自动估算批处理大小。

解决方案

请在推断此模型时指定一个更小的批处理大小，然后重新运行工具。