回帰分析の側面
回帰分析は複雑な現象の理解、モデル化、予測、説明に用いられます。 「米国でテスト スコアが一貫して全国平均を上回っている地域があるのはなぜか」や「市内に住宅侵入窃盗の発生率が非常に高い地域があるのはなぜか」といった質問に答えるのに役立ちます。 たとえば、小児肥満を説明するために、収入、教育、健康的な食品へのアクセスといった関連する変数のセットを使用して、回帰分析を利用できます。
通常、回帰分析は、こうした「なぜ」という問いに答え、それに対して何らかの対策を講じるのに役立ちます。 たとえば、昼食に新鮮な果物や野菜を提供している学校では小児肥満が少ないことがわかった場合、その情報を使用して、学校給食プログラムに関する方針や意思決定に役立てることができます。 同様に、高い犯罪率を説明する変数を把握することで、将来の犯罪を予測し、予防リソースをより効果的に配分できるようになります。
以上が、回帰分析について一般的に説明される内容です。
回帰分析についてあまり説明されないのは、質問に答えたり、モデル化しようとしている複雑な現象を説明したりするための説明変数のセットを見つけることが、必ずしも簡単ではないという点です。 小児肥満、犯罪、テスト スコア、そして回帰分析を使用してモデル化しようとするほぼすべての事象は複雑な問題であり、単純な答えがあることはほとんどありません。 これまでに独自の回帰モデルを構築しようとしたことがある場合、これは特に目新しい話ではないはずです。
幸い、一般化線形回帰分析 (GLR) ツールを実行すると、モデルが適切に指定されているかどうかを判断するのに役立つ一連の診断情報が表示されます。適切に指定されたモデルとは、信頼できるモデルのことです。 このドキュメントでは、モデルに信頼を置くために満たしておきたい、これらのチェックのいくつかについて検証し、説明します。 これらの診断情報と、回帰分析でよく発生する問題の一部を解決するために使用できる手法は、作業を容易にするリソースになります。
ヒント:
以下の情報を理解したら、GLR 手法のすべての要件を満たすモデルを見つけるために、予備回帰分析 ツールの使用を検討してください。
はじめに
理解、予測、またはモデル化したい変数を選択することが、最初の作業です。 この変数は従属変数として知られています。 上記の例でモデル化されている小児肥満、犯罪、テスト スコアは、従属変数にあたります。
次に、どの要因が従属変数の説明に役立つ可能性があるかを判断する必要があります。 これらの変数は説明変数として知られています。 小児肥満の例では、説明変数として、収入、教育、健康的な食品へのアクセスなどが考えられます。 ここでは、重要である可能性のあるすべての説明変数を特定するための調査が必要です。理論や既存の文献を参照し、専門家に相談し、常に常識に基づいて判断する必要があります。 事前に予備調査を行うことで、優れたモデルを見つけられる可能性が高まります。
従属変数と候補となる説明変数を選択したら、分析を実行する準備が整います。 回帰分析は 一般化線形回帰分析 (GLR) または 予備回帰分析 から開始することを推奨します。これらのツールでは、有用なモデルが見つかったかどうか、またはまだ調整が必要かどうかを示す重要な診断テストが実行されるためです。
GLR ツールは回帰残差のマップ、チャート、サマリー レポートなど複数の出力を生成します。 回帰残差マップには、モデルによる過小予測と過大予測が表示されます。このマップを分析することは、優れたモデルを見つけるうえで重要なステップです。 サマリー レポートは主に数値で構成され、以下の 6 つのチェックを進める際に使用するすべての診断情報が含まれています。
6 つの診断チェック
チェック 1: これらの説明変数はモデルの役に立っているか
理論や既存の研究を参照した後、候補となる説明変数のセットを特定します。 それぞれをモデルに含める理由が十分にあります。 しかし、モデルを実行すると、説明変数の中には統計的に有意なものもあれば、有意でないものもあることがわかります。
どの説明変数が有意であるかをどのように判断すればよいでしょうか。 GLR ツールでは、モデル内の各説明変数について係数を計算し、その変数がモデルの役に立っているかどうかを判断するための統計的検定を実行します。 統計的検定は、係数が実際にゼロである確率を計算します。 係数がゼロ、またはゼロに非常に近い場合、関連する説明変数はモデルの役に立っていません。 一方、統計的検定で特定の説明変数に対して小さい確率 (p 値) が返された場合、その係数がゼロである可能性は低い (確率は小さい) ことを示します。 確率が 0.05 より小さい場合、GLR サマリー レポートではその確率の横にアスタリスクが表示され、関連する説明変数がモデルにとって重要である (その係数が 95% の信頼度で統計的に有意である) ことを示します。 つまり、統計的に有意な確率に関連付けられている説明変数 (アスタリスクが付いているもの) を探すことになります。
GLR ツールでは、各説明変数について確率とロバスト確率の両方が計算されます。 空間データでは、モデル化しているリレーションシップが調査エリア内で変動することは珍しくありません。 このようなリレーションシップは、非定常であると特徴付けられます。 リレーションシップが非定常である場合、説明変数が統計的に有意かどうかを判断するには、ロバスト確率のみを信頼できます。
モデル内のリレーションシップが非定常であるかどうかは、どのように判断すればよいでしょうか。 GLR サマリー レポートに含まれるもう 1 つの統計的検定として、非定常性を調べる Koenker (Koenker スチューデント化 Breusch-Pagan) 統計があります。 Koenker p 値の横にアスタリスクが付いている場合、モデル化しているリレーションシップが統計的に有意な非定常性を示していることを意味するため、必ずロバスト確率をご参照ください。
通常、統計的に有意でない説明変数はモデルから削除します。 ただし、ある変数が非常に重要であることを理論が示している場合や、特定の変数が分析の焦点である場合は、統計的に有意でなくてもその変数を残すことがあります。
注意:
適切に指定された GLR モデルを探す過程で、さまざまな説明変数を試すことになるでしょう。 説明変数の係数 (および統計的有意性) は、モデルに含める変数の組み合わせによって大きく変わる可能性があることに注意する必要があります。
チェック 2: リレーションシップは想定どおりか
説明変数が実際にモデルの役に立っているかどうかを判断することが重要であるだけでなく、各係数に関連付けられている符号 (+/-) を確認して、リレーションシップが想定どおりであるかを確かめることも重要です。 説明変数の係数の符号は、リレーションシップが正であるか負であるかを示します。 たとえば、犯罪をモデル化していて、説明変数の 1 つが近隣地区の平均所得であるとします。 所得変数の係数が負の値である場合、近隣地区の所得が増加するにつれて犯罪が減少する傾向 (負のリレーションシップ) があることを意味します。 小児肥満をモデル化していて、ファスト フードへのアクセス性変数の係数が正である場合、小児肥満はファスト フードへのアクセスが増えるにつれて増加する傾向 (正のリレーションシップ) があることを示します。
候補となる説明変数のリストを作成する際は、各変数について、想定されるリレーションシップが正であるか負であるかを含める必要があります。 理論や常識に合わないリレーションシップを示すモデルを信頼するのは難しいでしょう。 たとえば、森林火災の発生頻度を予測するモデルを構築していて、回帰モデルで降水量変数の係数が正になったとします。 通常、降雨量が多い場所で森林火災が増加するとは考えにくいはずです。
予期しない係数の符号は、多くの場合、他の診断チェックを進める中で明らかになるモデル内の別の問題を示しています。 モデルがこれらすべてを満たしている場合にのみ、説明変数の係数の符号と強さを信頼できます。 予期しない係数の符号があるのにもかかわらずすべてのチェックを満たすモデルが見つかった場合、新しい発見につながる機会を見つけた可能性があります。 たとえば、調査エリアにおける森林火災の主な原因が落雷であるために、森林火災の発生頻度と降水量の間に正のリレーションシップがある可能性があります。 モデルのパフォーマンスが向上するかどうかを確認するために、調査エリアの落雷に関するデータを取得してみる価値がある可能性があります。
チェック 3: 説明変数に冗長なものはあるか
分析に含める説明変数を選択する際は、モデル化しようとしている対象の異なる側面を調べる変数を探します。類似した情報を提供する変数は避けます。 たとえば、住宅価格をモデル化しようとしている場合、住宅の床面積と寝室数の両方を説明変数として含めることはおそらくありません。 これらの変数はいずれも住宅の広さに関係しており、両方を含めるとモデルが不安定になる可能性があります。 最終的に、冗長な変数を含むモデルは信頼できません。
2 つ以上の変数が冗長であるかどうかは、どのように判断すればよいでしょうか。 幸い、説明変数が 2 つ以上ある場合、GLR ツールでは各変数について分散拡大係数 (VIF) が計算されます。 VIF 値は変数の冗長性を示す指標であり、説明力を損なうことなくモデルから削除できる変数を判断するのに役立ちます。 一般的に、VIF 値が 7.5 を超える場合は問題があります。 VIF 値が 7.5 を超える変数が 2 つ以上ある場合は、それらを 1 つずつ削除し、冗長性がなくなるまで OLS を再度実行します。 VIF 値が高い変数をすべて削除する必要はないことに注意してください。 住宅価格をモデル化する例では、床面積と寝室数の両方で VIF 値が高くなる可能性があります。 しかし、これら 2 つの変数のうち 1 つを削除すれば、冗長性は解消されます。 住宅の広さを表す変数を含めることは重要です。ただし、住宅価格のその側面を冗長にモデル化することは避ける必要があります。
チェック 4: モデルに偏りはあるか
これは難しい質問に思えるかもしれませんが、実際の答えは非常に単純です。 適切に指定された GLR モデルでは、モデル残差 (過大予測と過小予測) は、平均がゼロの正規分布 (ベル曲線のような分布) になります。 一方、モデルに偏りがある場合、残差の分布は以下に示すように不均衡になります。 モデルに偏りがある場合、予測結果を完全に信頼することはできません。 この問題を修正するための方法はいくつかあります。
統計的に有意な Jarque-Bera 診断 (アスタリスクを確認) は、モデルに偏りがあることを示します。 モデルが低い値に対しては適切に機能しているものの、高い値に対してはうまく予測できない、またはその逆である場合があります。 小児肥満の例では、小児肥満が少ない場所ではモデルがうまく機能している一方で、小児肥満が多いエリアでは予測が外れていることを意味します。 モデルの偏りは、モデル推定に影響を与えている外れ値によって生じる場合もあります。
モデルの偏りを解決するために、すべてのモデル変数について散布図マトリックスを作成します。 従属変数と説明変数の 1 つとの間に非線形のリレーションシップがあることは、モデルの偏りの一般的な原因です。 このようなリレーションシップは、散布図マトリックスでは曲線のように見えることがあります。 線形のリレーションシップは、斜めの直線のように見えます。
従属変数と説明変数の 1 つとの間に非線形のリレーションシップがあることがわかった場合は、追加の作業が必要です。 GLR は線形回帰手法であり、モデル化しているリレーションシップが線形であることを前提とします。 そうでない場合は、変数を変換して、より線形に近いリレーションシップが作成されるかどうかを確認できます。 一般的な変換には、対数変換や指数変換があります。 説明変数のいくつかが強く偏っている場合は、それらの変数も変換することで、モデルの偏りを取り除ける可能性があります。
散布図マトリックスでは、データの外れ値も明らかになります。 外れ値がモデルに影響しているかどうかを確認するには、外れ値を含めた場合と除外した場合の両方で 一般化線形回帰分析 (GLR) を実行し、モデルのパフォーマンスがどの程度変わるか、外れ値を削除することでモデルの偏りが修正されるかを確認します。 場合によっては、特に外れ値が不良データだと考えられる場合、外れ値を分析から除外できることがあります。
チェック 5: すべての主要な説明変数を見つけているか
多くの場合、どの変数が重要な予測因子になるかという仮説から分析を開始します。 5 つの特定の変数で優れたモデルが得られると考える場合もあれば、関連がある可能性があると考える 10 個の変数の明確なリストがある場合もあります。 回帰分析に仮説を持って取り組むことは重要ですが、創造力と洞察力を活かしてさらに調査することも重要です。 最初の変数リストに限定する傾向を避け、モデル化している対象に影響を与える可能性のあるすべての変数を検討する必要があります。 各候補の説明変数のテーマ別マップを作成し、従属変数のマップと比較します。 関連する文献をよく確認します。 直感を使ってマップ化されたデータのリレーションシップを探します。 都市中心部からの距離、主要高速道路への近接性、大きな水域へのアクセスなど、できるだけ多くの候補となる空間変数を考えます。 このような変数は、地理的プロセスがデータ内のリレーションシップに影響していると考えられる分析で特に重要になります。 実際、従属変数の空間構造を効果的に捉える説明変数が見つかるまでは、モデルには主要な説明変数が欠けていることになり、ここで示しているすべての診断チェックを満たすことはできません。
1 つ以上の主要な説明変数が欠けている証拠となるのは、モデル残差に統計的に有意な空間的自己相関があることです。 回帰分析では、空間的に自己相関した残差の問題は通常、クラスター化という形で現れます。つまり、過大予測がまとまって分布し、過小予測もまとまって分布します。 モデル残差に統計的に有意な空間的自己相関があるかどうかは、どのように判断すればよいでしょうか。 回帰残差に対して 空間的自己相関分析 ツールを実行すると、空間的自己相関に問題があるかどうかがわかります。 統計的に有意な Z スコアは、モデルに主要な説明変数が欠けていることを示します。
欠けている説明変数を見つける作業は、多くの場合、科学であると同時に技術でもあります。 以下の方法を試し、役立つかどうかをご確認ください:
GLR 残差マップの確認
一般化線形回帰分析 (GLR) ツールの標準出力は、モデル残差のマップです。 濃い紫色のエリアは、実際の値 (従属変数) が、モデルの予測値よりも大きいことを示します。 濃いターコイズのエリアは、実際の値が予測値よりも小さい場所を示します。 残差マップを見るだけで、何が欠けている可能性があるかの手がかりが得られることもあります。 たとえば、都市化されたエリアで一貫して過大予測していることに気付いた場合は、都市中心部までの距離を反映する変数の追加を検討する必要がある場合があります。 過大予測が山頂や谷底に関連しているように見える場合は、標高変数が必要である可能性があります。 地域的なクラスターが見えるでしょうか、もしくはデータ内の傾向を認識できるでしょうか。 その場合、これらの地域差を捉えるダミー変数を作成すると効果的なことがあります。 ダミー変数の典型的な例は、都市部と農村部のフィーチャを区別する変数です。 すべての農村部のフィーチャに値 1 、それ以外のすべてのフィーチャに値 0 を割り当てることで、モデルにとって重要となる可能性のある景観内の空間リレーションシップを捉えられる場合があります。 モデル残差のホット スポット マップを作成すると、広域的な地域パターンを視覚化するのに役立つこともあります。
欠けている空間変数を見つけ出すことは、モデルを改善する可能性があるだけでなく、モデル化している現象を新しい革新的な方法でより深く理解する助けにもなります。
注意:
空間レジームのダミー変数は GLR モデルに含めると便利ですが、局所的な多重共線性の問題を避けるために 地理空間加重回帰分析 (GWR) を実行する際には削除する必要があります。
非定常性の検証
地理空間加重回帰分析 を実行し、各説明変数や各ローカル R2 値のマップの係数サーフェスを作成してみることもできます。 良好な性能を示す GLR モデル (調整済み R2 値が高く、他の診断チェックのほとんどを満たしているモデル) を選択します。 GWR では調査エリア内の各フィーチャについて回帰方程式が作成されるため、係数サーフェスは、従属変数と各説明変数の間のリレーションシップが地理的にどのように変動するかを示します。また、ローカル R2 値のマップは、モデルの説明力のばらつきを示します。 このような地理的変動を見ることで、欠けている可能性のある変数についての着想が得られることがあります。たとえば、主要高速道路付近で説明力が低下している、海岸から離れるにつれて説明力が低下している、工業地域付近で係数の符号が変化している、または東西方向に強い傾向や境界が見られるといった情報は、モデルを改善する可能性のある空間変数に関する手がかりになります。
係数サーフェスを調べる際は、係数が正から負へと符号を変える説明変数を探します。 GLR ではこのような高度に非定常な変数の予測能力が低く評価される可能性が高いため、これは重要です。 たとえば、小児肥満と健康的な食品へのアクセスとのリレーションシップを考えてみます。 自動車へのアクセスが限られている低所得エリアでは、スーパーマーケットから遠いことが、健康的な食品を選択するうえで実際の障壁になっている可能性があります。 一方、自動車にアクセスしやすい高所得エリアでは、徒歩圏内にスーパーマーケットがあることは、むしろ望ましくない可能性があります。スーパーマーケットまでの距離は、健康的な食品の購入を妨げる要因として機能していないかもしれません。 GWR は、このような複雑なリレーションシップをモデル化できますが、GLR ではできません。 GLR はグローバル モデルであり、調査エリア全体で変数間のリレーションシップが一貫している (定常的である) ことを前提とします。 係数の符号が変わると、それらは互いに打ち消し合います。 (+1) + (-1) = 0 と考えてください。 係数が大きく変動する変数、特に符号が変わる変数を見つけた場合は、統計的に有意でなくてもモデルに残しておく必要があります。 このような変数は、GWR に移った際に有効になります。
小さなサブセット調査エリアに GLR を適合させてみる
GWR は非定常性に対処する際に非常に有用であり、適切に指定された GLR モデルを先に見つけずに、すぐに GWR に移りたくなることがあります。 しかし残念ながら、GWR には、説明変数が統計的に有意かどうか、残差が正規分布しているかどうか、また最終的に優れたモデルであるかどうかを判断するためのすべての診断情報が備わっているわけではありません。 GLR モデルが 6 つのチェックを満たしていない唯一の理由が非定常性による直接的な結果であると確信できない限り、GWR は適切に指定されていないモデルを修正するものではありません。 非定常性の証拠としては、調査エリアの一部では強い正のリレーションシップを示し、別の部分では強い負のリレーションシップを示す説明変数が見つかることが挙げられます。 問題が個々の説明変数にあるのではなく、モデルで使用されている説明変数のセットにある場合もあります。 ある変数セットは調査エリアの一部に対しては優れたモデルを提供する一方で、それ以外の場所では別の変数セットのほうが最適に機能することがあります。 これに該当するかどうかを確認するには、いくつかの小さなサブセット調査エリアを選択し、それぞれに GLR モデルを適合させてみます。 サブセット エリアは、モデルに関連している可能性があると考えられるプロセス (高所得エリアと低所得エリア、古い住宅と新しい住宅など) に基づいて選択します。 または、ローカル R2 値の GWR マップに基づいてエリアを選択します。モデルのパフォーマンスが低い場所は、別の説明変数セットを使用することで、より適切にモデル化できる可能性があります。
ヒント:
空間的に制限された多変量クラスター分析 ツールは、広い調査エリア内のサブリージョンを特定する際に非常に役立ちます。
複数の小さな調査エリアで適切に指定された GLR モデルが見つかった場合は、非定常性が原因であると結論付け、すべてのサブセット エリア モデルから見つかった説明変数の完全なセットを使用して GWR に移ることができます。 小さなサブセット エリアで適切に指定されたモデルが見つからない場合は、単純な一連の数値測定値や線形リレーションシップに還元するには複雑すぎるものをモデル化しようとしている可能性があります。 その場合は、他の分析手法を探る必要がある可能性があります。
これらの作業には多少の手間がかかることがありますが、探索的データ分析のよい演習にもなり、データをより深く理解し、使用する新しい変数を見つけるのに役立ちます。 優れたモデルが得られることさえあります。
チェック 6: 従属変数をどの程度うまく説明できているか
ここで、モデルのパフォーマンスを評価します。 調整済み R2 値は、説明変数が従属変数をどの程度うまくモデル化しているかを示す重要な指標です。 R2 値は、多くの人が回帰分析について最初に学ぶことの 1 つでもあります。 では、なぜこの重要なチェックは最後まで残されているのでしょうか。 あまり知られていないかもしれませんが、上記の他のすべてのチェックを満たしていない限り、R2 値を信頼することはできません。 モデルに偏りがある場合、特定のエリアや従属変数の値の特定の範囲ではうまく機能しているかもしれませんが、それ以外ではまったくうまく機能していない可能性があります。 R2 値は、これを反映しません。 同様に、残差に空間的自己相関がある場合、モデルから得られる係数のリレーションシップを信頼することはできません。 冗長な説明変数を使用して非常に高い R2 値を得られることがありますが、モデルは不安定になります。そのモデルは、モデル化しようとしている真のリレーションシップを反映せず、観測値を 1 つ追加しただけでもまったく異なる結果を生成する可能性があります。
ただし、他のチェックを完了し、必要な基準をすべて満たしていると確信できた場合は、調整済み R2 値を評価して、モデルが従属変数の値をどの程度うまく説明しているかを判断できます。 R2 値は 0 から 1 の範囲で、パーセンテージを表します。 たとえば、犯罪率をモデル化していて、前の 5 つのチェックすべてを満たし、調整済み R2 値が 0.65 のモデルが見つかったとします。 これは、モデル内の説明変数が、犯罪率という従属変数の変動の 65% を説明していることを示します。 調整済み R2 値はある程度主観的に評価される必要があります。 科学の一部の分野では、複雑な現象の 23% を説明できれば、非常に大きな成果と見なされます。 一方、分野によっては、R2 値が 80% や 90% 近くにならなければ注目されないこともあります。 いずれの場合も、調整済み R2 値は、モデルのパフォーマンスを判断するのに役立ちます。
モデルのパフォーマンスを評価するうえで役立つもう 1 つの重要な診断指標は、補正された線形モデルの赤池情報量規準 (AICc) です。 AICc 値は複数のモデルを比較する際に有用な指標です。 たとえば、複数の異なる説明変数セットを使用して、生徒のテスト スコアをモデル化してみたい場合があります。 あるモデルでは人口統計学的変数のみを使用し、別のモデルでは、生徒 1 人あたりの支出や教師と生徒の比率など、学校や教室に関連する変数を選択することがあります。 比較するすべてのモデルの従属変数 (この場合は生徒のテスト スコア) が同じである限り、各モデルの AICc 値を使用して、どのモデルのパフォーマンスが高いかを判断できます。 AICc 値が小さいモデルほど、観測データへの適合度が高いことを示します。
最後に...
適切に指定された回帰モデルを構築するこれらの手順を進める際には、分析の最終的な目的が、データを理解し、その理解を使用して問題を解決し、質問に答えることである点を忘れないでください。 実際には、変換した変数を使用するモデルと使用しないモデルをいくつも試し、複数の小さい調査エリアを探索し、係数サーフェスを分析しても、適切に指定された GLR モデルが見つからないことがあります。 しかし、これは重要な点ですが、それでもモデル化している現象に関する知識体系には貢献していることになります。 正確な予測因子になると仮定していたモデルがまったく有意でないことが判明した場合、これを発見したことは非常に有益な情報です。 強い変数になると考えていた変数の 1 つが、一部のエリアでは正のリレーションシップを示し、別のエリアでは負のリレーションシップを示す場合、これを知ることで、問題に対する理解は確実に深まります。 ここで行う作業、つまり GLR を使用して優れたモデルを見つけ、次に GWR を適用してモデル内の変数間の地域的な変動を探索する作業には、常に価値があります。
回帰分析および実践的なチュートリアルの詳細については、https://www.esriurl.com/spatialstats をご参照ください。