使用 AI 模型预测缺失值的工作原理
现实世界的空间和表格数据集常因传感器中断、调查无响应、数据集成问题或手动数据输入错误而缺失或不完整。 缺失值会降低数据质量，限制分析，并可能对下游建模和决策产生负面影响。 丢弃缺失值记录通常会导致重大信息丢失，因此智能填充成为关键的预处理步骤。
使用 AI 模型预测缺失值工具使用先进的机器学习和深度学习模型，填充要素图层和独立表中的缺失数值。 与独立处理单个字段的统计隙填方法不同，该工具捕捉所有可用字段之间的关系，生成统计一致且具上下文感知的填充。
该工具在填充缺失值时不考虑相邻要素之间的空间或时间关系。 当缺失数据主要受空间邻域或时间连续性影响时，填充缺失值工具更为适用。
工具目前支持基于 XGBoost 的填充和基于 DistilGPT-2 的填充模型，这些模型以 Esri 模型定义文件 (.emd) 或深度学习包 (.dlpk) 的形式打包，允许您根据数据集大小、复杂度和系统资源选择最合适的方法。
基于 AI 的方法
统计填充方法如最小值、最大值、平均值、中位数或众数，通过全局统计量或来自空间或时间上邻域位置的值来替代缺失值。 虽然这些方法快速且易于应用，但存在以下限制：
忽略多个字段之间的关系。
独立处理每个缺失值。
无法捕捉非线性交互或依赖关系。
当缺失值非随机时，结果可能会有偏差。
使用 AI 模型预测缺失值工具通过建模要素联合分布，实现更准确、更真实的填充，尤其适用于复杂高维数据集。
支持的填充模型
工具支持两种主要模型类型，均可通过 ArcGIS Living Atlas of the World 访问。
基于 XGBoost 的填充
使用基于 XGBoost 的填充模型时，工具执行预测填充如下：
目标字段中具有观察值的记录用于训练。
剩余字段作为目标字段的预测因子变量。
经过训练的模型会为目标字段为空的记录预测缺失值。
数据集会使用预测值进行更新。
模型的关键特征包含以下几点：
对于大型表和高字段计数来说高效。
捕捉非线性关系和要素交互。
相比深度学习模型，内存需求更低。
适用于生产工作流和大型企业数据集。
基于 DistilGPT-2 的填充
使用基于 DistilGPT-2 的填充模型时，工具采用基于深度学习的生成式、按行填充策略。 该策略可以归纳如下：
每一行都被序列化成类似句子的要素值对序列。
模型通过自回归下一个令牌预测对输入数据集进行微调。
缺失值在推断过程中会被掩膜。
模型基于同一行中的观测字段，生成缺失值。
生成的数值输出会被转换回原始的数值格式。
这种方法使模型能够同时学习所有字段上的复杂依赖关系，并且在复杂填充方案下，误差指标（如 RMSE 和 MAE）相比传统机器学习基线更低。
模型的关键特征包含以下几点：
学习联合要素分布。
对复杂且相互依赖的数据集有效。
支持未来扩展至更多转换器模型。
GPU 内存需求比 XGBoost 高。
性能与内存注意事项
基于深度学习的模型需要占用大量内存。 请考虑以下方法：
DistilGPT-2
推荐用于字段数不超过 40 的表。
需要高显存 GPU（24GB 或以上）。
在表较宽时可能会遇到内存错误。
XGBoost
支持更大的表和更高的字段数量。
降低内存占用和计算需求。
推荐用于企业级数据集。
以下是针对内存限制的解决方法：
通过要素选择减少输入字段数量。
将宽表分割成更小的子集。
在云或高内存系统上运行工具。
何时使用此工具
当以下情况成立时，使用使用 AI 模型预测缺失值：
缺失值出现在多个相互关联的字段中。
保持多元关系非常重要。
统计填充会产生不切实际的结果。
数据质量对于下游分析或建模至关重要。
在使用较简单的数据集、单个字段间隙，或缺失值最好用空间或时间邻近性来解释的情况时，像填充缺失值这样的工具通常很合适。
参考文献
Vadim Borisov, Kathrin Seßler, Tobias Leemann, Martin Pawelczyk, Gjergji Kasneci. "Language Models are Realistic Tabular Data Generators." October 12, 2022. https://arxiv.org/abs/2210.06280
Tianqi Chen, and Carlos Guestrin. "XGBoost: A Scalable Tree Boosting System." March 9, 2016. https://arxiv.org/abs/1603.02754
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin. "Attention Is All You Need." June 12, 2017. https://arxiv.org/abs/1603.02754