Skip to main content

AI モデルを使用した欠損値の予測の仕組み

現実世界の空間および表形式データセットでは、センサーの停止、調査への無回答、データ統合の問題、または手動によるデータ入力ミスが原因で、欠損値や不完全な値が含まれることがよくあります。 欠損値があると、データの品質が低下し、解析が制限され、下流のモデリングや意思決定に悪影響を及ぼす可能性があります。 欠損値を含むレコードを破棄すると、多くの場合、重要な情報の損失につながるため、インテリジェントな補定が重要な前処理ステップとなります。

AI モデルを使用した欠損値の予測 ツールは、高度な機械学習およびディープ ラーニング モデルを使用して、フィーチャ レイヤーやスタンドアロン テーブルの欠損した数値を補完します。 個々のフィールドを独立して操作する統計的な穴埋め手法とは異なり、このツールは利用可能なすべてのフィールド間のリレーションシップを捉え、統計的に一貫性があり、コンテキストを考慮した補定値を生成します。

このツールは、欠損値を補完する際に、空間的または時間的に近接するフィーチャ間のリレーションシップは考慮しません。 欠損データが主に空間的な近接性や時間的な連続性に影響されている場合は、欠損値の補完 ツールのほうが適しています。

このツールは現在、Esri モデル定義ファイル (.emd) またはディープ ラーニング パッケージ (.dlpk) としてパッケージ化された XGBoost ベースの補定 モデルと DistilGPT-2 ベースの補定 モデルの両方をサポートしており、データセットのサイズ、複雑さ、システム リソースに基づいて、最も適切なアプローチを選択できます。

AI ベースのアプローチ

最小値、最大値、平均値、中央値、最頻値などの統計的補定手法により、グローバルな統計や、空間的または時間的に近接する位置の値を使用して欠損値を置き換えます。 これらのアプローチは迅速かつ簡単に適用できますが、次のような制限があります:

  • 複数のフィールド間のリレーションシップを無視します。

  • 各欠損値を独立して処理します。

  • 非線形な相互作用や依存関係を捉えることができません。

  • 欠損値がランダムでない場合、結果にバイアスが生じる可能性があります。

AI モデルを使用した欠損値の予測 ツールは、フィーチャの同時分布をモデリングすることでこれらの制限に対処し、特に複雑で高次元のデータセットに対して、より正確で現実的な補定を可能にします。

サポートされている補定モデル

このツールは、ArcGIS Living Atlas of the World からアクセスできる 2 つの主要なモデル タイプをサポートしています。

XGBoost ベースの補定

XGBoost ベースの補定モデルを使用する場合、ツールは次のように予測補定を実行します:

  • ターゲット フィールドに観測値が含まれているレコードがトレーニングに使用されます。

  • 残りのフィールドは、ターゲット フィールドの予測因子変数として機能します。

  • トレーニング済みモデルは、ターゲット フィールドが NULL であるレコードの欠損値を予測します。

  • データセットが予測値で更新されます。

モデルの重要な特性は、次のとおりです:

  • 大規模なテーブルや多数のフィールドに対して効率的です。

  • 非線形なリレーションシップやフィーチャの相互作用を捉えます。

  • ディープ ラーニング モデルと比較してメモリー要件が低くなります。

  • 実稼働のワークフローや大規模なエンタープライズ データセットに適しています。

DistilGPT-2 ベースの補定

DistilGPT-2 ベースの補定モデルを使用する場合、ツールはディープ ラーニングに基づく生成的な行単位の補定方針を適用します。 この方針は次のようにまとめることができます:

  • 各行が、フィーチャと値のペアで構成される文章のようなシーケンスに直列化されます。

  • 自己回帰的な次トークンの予測を使用して、入力データセットでモデルが微調整されます。

  • 推論中に欠損値がマスクされます。

  • モデルは、同じ行内の観測されたフィールドを条件として欠損値を生成します。

  • 生成された数値出力は、元の数値形式に再変換されます。

このアプローチにより、モデルはすべてのフィールド間の複雑な依存関係を同時に学習でき、複雑な補定シナリオで従来の機械学習ベースラインと比較して低い誤差指標 (RMSE や MAE など) を示しています。

モデルの重要な特性は、次のとおりです:

  • フィーチャの同時分布を学習します。

  • 複雑で相互に依存しているデータセットに対して効果的です。

  • 将来の他の Transformer モデルへの拡張性をサポートします。

  • XGBoost よりも GPU メモリー要件が高くなります。

パフォーマンスとメモリーに関する注意事項

ディープ ラーニング ベースのモデルはメモリーを大量に消費します。 以下を考慮します。

  • DistilGPT-2

    • フィールド数が 40 以下のテーブルにおすすめします。

    • ハイメモリー GPU (24 GB 以上) が必要です。

    • 幅の広いテーブルではメモリー エラーが発生する可能性があります。

  • XGBoost

    • 大規模なテーブルや多数のフィールドをサポートします。

    • メモリー フットプリントと計算要件が低くなります。

    • エンタープライズ規模のデータセットにおすすめします。

メモリー制約の回避策は次のとおりです:

  • フィーチャ選択を通じて入力フィールドの数を減らします。

  • 幅の広いテーブルを小さなサブセットに分割します。

  • クラウドまたはハイメモリー システムでツールを実行します。

このツールを使用するタイミング

次の場合に、AI モデルを使用した欠損値の予測 を使用します:

  • 相互関係のある複数のフィールドで欠損値が発生している場合。

  • 多変量リレーションシップの維持が重要な場合。

  • 統計的補定により非現実的な結果が生成される場合。

  • 下流の解析やモデリングにデータの品質が重要な場合。

単純なデータセットや個別のフィールドの欠落を扱う場合、または欠損値に空間的および時間的な近接性が寄与する割合が高い場合は、欠損値の補完 などのツールが適していることがよくあります。

参考情報

  • Vadim Borisov, Kathrin Seßler, Tobias Leemann, Martin Pawelczyk, Gjergji Kasneci. "Language Models are Realistic Tabular Data Generators." October 12, 2022. https://arxiv.org/abs/2210.06280

  • Tianqi Chen, and Carlos Guestrin. "XGBoost: A Scalable Tree Boosting System." March 9, 2016. https://arxiv.org/abs/1603.02754

  • Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin. "Attention Is All You Need." June 12, 2017. https://arxiv.org/abs/1603.02754