特徴量重要度とは？計算方法と評価指標を解説！（feature importance・ランダムフォレスト・勾配ブースティング・変数選択など）

機械学習モデルを構築した後、「どの特徴量が予測に最も貢献しているのか」を知りたいと思うことは多いでしょう。

この問いに答えるための重要な概念が「特徴量重要度」です。

本記事では、特徴量重要度の計算方法と評価指標について、feature importance・ランダムフォレスト・勾配ブースティング・変数選択といったキーワードを交えながら、わかりやすく丁寧に解説していきます。

機械学習モデルの解釈性に関心がある方、データ分析の結果を業務に活かしたい方にとって、必ず参考になる内容です。

ぜひ最後まで読み進めてください。

特徴量重要度とは何か？結論からわかりやすく解説

それではまず、特徴量重要度という言葉の基本的な意味について解説していきます。

特徴量重要度とは、機械学習モデルが予測を行う際に、それぞれの特徴量がどの程度モデルの出力に影響を与えているかを数値で示した指標のことです。

英語では「feature importance」と呼ばれ、特にランダムフォレストや勾配ブースティングといった、決定木をベースとしたモデルにおいて広く活用されています。

特徴量重要度の核心は「モデルにとって、どの情報が予測のために特に役立っているか」を数値として可視化することです。これは単にモデルの精度を測るだけでなく、「なぜそのような予測結果になったのか」というモデルの振る舞いを理解するための、非常に重要な手がかりとなります。

特徴量重要度を確認することで、データサイエンティストは、モデルが妥当な判断をしているかどうかを検証したり、業務上重要な要因をビジネス側に説明したりすることができます。

特徴量重要度の定義

特徴量重要度は、特定の計算方法に基づいて算出される数値であり、その値が大きいほど、その特徴量がモデルの予測に与える影響が大きいことを示します。

ただし、特徴量重要度の計算方法は一種類ではなく、モデルの種類や目的によって複数の方法が存在するという点が重要なポイントです。

なぜ重要度を測るのか

特徴量重要度を測ることには、いくつかの目的があります。

【特徴量重要度を測る主な目的】

モデルの予測結果が妥当かどうかを検証する

業務上の意思決定に役立つ要因を特定する

不要な特徴量を見つけ出しモデルを簡略化する

これらの目的は、モデルの精度向上だけでなく、モデルの「説明可能性」を高めるという観点からも、非常に重要視されています。

重要度の活用場面

特徴量重要度は、様々な実務シーンで活用されています。

例えば、顧客の離脱予測モデルにおいて「契約期間」という特徴量の重要度が高いと判明した場合、その情報をもとに契約期間に着目した対策を検討するといった形で、分析結果が直接的な意思決定に結びつくことがあります。

このように、特徴量重要度は、単なる技術的な指標ではなく、ビジネス上の意思決定をサポートするツールとしての側面も持っています。

ランダムフォレストにおける重要度の計算方法

続いては、特徴量重要度を計算する代表的なモデルである「ランダムフォレスト」における計算方法について確認していきます。

ランダムフォレストは、特徴量重要度を出力する機能が標準的に備わっている、代表的なアルゴリズムです。

ランダムフォレストの仕組み概要

ランダムフォレストとは、多数の決定木を組み合わせて、それぞれの予測結果を集約することで、最終的な予測を行うアルゴリズムです。

各決定木は、データの一部・特徴量の一部をランダムに使って学習されるため、それぞれ少しずつ異なる予測を行います。

これらの予測結果を平均したり、多数決を取ったりすることで、単一の決定木よりも安定した予測が可能になるという特徴があります。

不純度に基づく重要度

ランダムフォレストにおける特徴量重要度の代表的な計算方法のひとつが、「不純度に基づく重要度」です。

決定木は、データを分割していく際に、各分割が「データのグループをどれだけきれいに分けられたか（不純度の減少）」を基準に作られます。

【不純度に基づく重要度の考え方】

ある特徴量がデータを分割する際にどれだけ不純度を減少させたかを計算する

これを森全体（すべての決定木）で集計する

合計値が大きい特徴量ほど重要度が高いと判断される

この方法は計算が比較的シンプルであるため、多くのライブラリで標準的に提供されている計算方法です。

ただし、この方法には、カテゴリの種類が多い特徴量や、数値の取りうる範囲が広い特徴量の重要度が、実際よりも高く評価されやすいという指摘もあります。

Permutation Importance

不純度に基づく重要度の課題を補うための方法として、「Permutation Importance（順序入れ替えによる重要度）」という手法があります。

この手法は、ある特徴量の値をランダムに並べ替え（シャッフル）た上で、モデルの予測性能がどれだけ低下するかを測定するという考え方に基づいています。

計算方法	考え方	特徴
不純度に基づく重要度	木の分割時の不純度減少を集計	計算が高速だが偏りが生じることがある
Permutation Importance	値をシャッフルした際の性能低下を測定	モデルの種類を問わず適用可能だが計算コストが高い

特定の特徴量をシャッフルした際に、モデルの予測精度が大きく低下するのであれば、その特徴量はモデルにとって重要な情報を持っていたと判断できます。

この手法は、ランダムフォレストに限らず、様々な種類のモデルに対して適用できるという利点があります。

勾配ブースティングにおける重要度

続いては、ランダムフォレストと同様に決定木をベースとした、もう一つの代表的なアルゴリズムである「勾配ブースティング」における特徴量重要度について確認していきます。

勾配ブースティングは、特にコンペティションなどで高い予測性能を発揮することで知られるアルゴリズムです。

勾配ブースティングの概要

勾配ブースティング（Gradient Boosting）とは、複数の決定木を順番に作成し、前の決定木の予測の誤りを次の決定木が修正していくように学習を進めるアルゴリズムです。

ランダムフォレストが、複数の決定木を「並列的」に作成して結果を集約するのに対し、勾配ブースティングは決定木を「逐次的」に作成していくという点で、アプローチが異なります。

Gain・Cover・Frequencyなどの指標

勾配ブースティングを実装する代表的なライブラリでは、複数の種類の特徴量重要度が提供されることがあります。

【勾配ブースティングにおける重要度の指標例】

Frequency（頻度）その特徴量が分割に使われた回数

Gain（ゲイン）その特徴量による分割で得られた性能向上の合計

Cover（カバー）その特徴量による分割が影響を与えたデータの量

これらの指標は、それぞれ異なる側面から特徴量の重要性を捉えており、どの指標を使うかによって、重要度の順位が変わることもあります。

単一の指標だけに頼らず、複数の指標を確認することで、より多角的に特徴量の役割を理解することができるでしょう。

SHAP値との関係

近年、特徴量重要度に関連する概念として注目されているのが「SHAP値」です。

SHAP値は、ゲーム理論の考え方を応用し、各特徴量が個々の予測結果にどれだけ貢献したかを、より詳細に分解して示す手法です。

従来の特徴量重要度が「モデル全体として」どの特徴量が重要かを示すのに対し、SHAP値は「個々のデータ（サンプル）ごとに」各特徴量がどのように影響したかを示すことができるという特徴があります。

このため、SHAP値は、特定の予測結果について「なぜこの予測になったのか」を説明する際に、特に有用な手法として広く活用されています。

重要度を使った変数選択・解釈の注意点

続いては、特徴量重要度を実際に活用する際の、変数選択への応用と、解釈上の注意点について確認していきます。

重要度という指標は非常に便利ですが、いくつかの注意点を理解しておく必要があります。

重要度を使った特徴量選択

特徴量重要度は、不要な特徴量を見つけ出し、モデルを簡略化するための「特徴量選択」にも活用することができます。

重要度が極端に低い特徴量は、モデルの予測にほとんど寄与していないと考えられるため、それらを除外することで、モデルの計算コストを削減したり、過学習のリスクを低減したりすることが期待できます。

ただし、ある時点での重要度が低くても、他の特徴量と組み合わせることで意味を持つ特徴量が存在する可能性もあるため、安易に除外することには注意が必要です。

相関の高い特徴量の扱い

特徴量重要度を解釈する際に注意すべき点として、相関の高い特徴量同士が存在する場合があります。

状況	重要度への影響
似た情報を持つ特徴量が複数存在	重要度がそれぞれに分散して低く見える場合がある
一方の特徴量のみが残る	その特徴量に重要度が集中する場合がある

相関の高い特徴量が複数存在する場合、重要度の数値だけを見て「この特徴量は重要ではない」と判断するのは早計である可能性がある点に注意が必要です。