MSE(平均二乗誤差)、MAE(平均絶対誤差)とは？

MSE(平均二乗誤差)、MAE(平均絶対誤差)とは、機械学習モデルでよく使われる評価指標です。

モデルが予測した値がどのくらいの精度を示しているのかをこれらの値を計算することによって評価しています。

また、これらは評価関数だけでなく学習を行う際の損失関数としても用いられています。

今回の記事では、MSE・MAEとはどのように計算するのか、他にどのような評価指標があるのかを紹介していきます！

MSE・MAEの計算方法

MSE(平均二乗誤差)の計算方法

MSE(平均二乗誤差)は、最も一般的に使用される評価指標です。

計算方法としては、予測したデータと正解データの差をそれぞれ求め、二乗した結果を全て足し合わせるというものです。

MSEの良い点としては、最も簡単にデータのずれを数値化できる点です。

さらに予測データと正解データの差を二乗していることで、誤差を大きく表現して評価することができます。

欠点としては、外れ値に影響されやすいことが挙げられます。

誤差を大きく表現できる分、外れ値の影響も大きく受けてしまいます。

また、結果がデータの桁(オーダー)によって大きく変わってしまい、直感的な評価が難しいことも挙げられます。

RMSE(二乗平均平方根誤差)

先ほどのMSEの平方根を取ることで、予測データと正解データの誤差の平均がより直感的に理解することができるようになります。

MAE(平均絶対誤差)の計算方法

MAE(平均絶対誤差)は、正解データと予測データの差を二乗するのではなく、絶対値を取る方法です。

先ほどのMSEが予測データと正解データの差を二乗していたのに対し、純粋な差を足し合わせているのが特徴です。

これによりデータの値を見ながら、各データの誤差の平均がどのくらいなのかを直感的に理解することができます。

どんな場面で使うのか？使用例を解説

MSE、MAEなどの評価手法は、主に予測データが正解データとどのくらい近い値となっているかを表しています。

つまり評価指標を出すことで、モデルの予測性能を評価することができるということです。

ここで、評価指標を使うタイミングは大きく2つに分けられます。

1つ目は構築したモデルを世の中のモデルと比較して定量的に評価する時です。

物件の価格を推定するという目的に対して、世の中にモデルは無数にあります。それらのモデルと比較して、自分たちのモデルはどのくらいの性能をしているのかを確かめます。

既存のモデルも必ず複数の評価手法によって性能が定量化されています。それらと比べることで、自分たちのモデルを実用化することができるのか・どのくらい信用することができるのかを評価することができます。

2つ目はモデルの改善を行う際の指標とする時です。

機械学習モデルはいきなり高い精度が出せるわけではなく、データ構造の調整やパラメータチューニングを行うことで性能を改善させていきます。

その際に改善したモデルの精度が上がっているのか下がっているのかの基準が必要になります。この改善する過程で、参照するための評価指標を使います。

実際のデータは人間が全てチェックできないほど量が膨大であり、モデルの評価を人間が行うことは不可能です。そのためこのような定量的な指標を使ってモデルを評価しています。

MSE、MAEの目安は？

ここまで読んで頂けた方にはもうお分かりかと思いますが、MSE・MAEの目安は、データセットによって異なります。

試しに数値の桁が異なる2つのデータを使ってMSEとMAEをそれぞれ計算してみましょう。

このように実際に計算してみると、データの中身の桁が違うことによって出てくる結果にも大きく差が出てくることがわかります。

データの中の値のを見て、評価指標を解釈したり比較する必要があります。

MSE、MAEをPythonで計算してみる

MSE・MAEを実際にPythonで計算する方法を紹介していきます。

データセットはこちらの記事で使用した、健康保険の医療費の予測データを使用します。

| Pythonで実装してみよう -ランダムフォレストを理解する

元のデータセットはこちらからダウンロードしてください。

以下のコードで、正解データと予測データを用意します。

import pandas as pd
import numpy as np
from sklearn.preprocessing import OneHotEncoder
from sklearn.model_selection import train_test_split # データ分割
from sklearn.ensemble import RandomForestRegressor # ランダムフォレスト
import matplotlib.pyplot as plt # グラフ描画
from sklearn.tree import plot_tree # 決定木可視化

df_insurance=pd.read_csv("./insurance.csv") #データセットを読み込み

encoder = OneHotEncoder(sparse_output=False)
encoded_features = encoder.fit_transform(df_insurance[['sex', 'smoker', 'region']])

# エンコードされた特徴量をDataFrameに変換
encoded_df = pd.DataFrame(encoded_features, columns=encoder.get_feature_names_out(['sex', 'smoker', 'region']))

df_insurance = pd.concat([df_insurance, encoded_df], axis=1)
df_insurance = df_insurance.drop(["sex","smoker","region"],axis=1)

train_data = df_insurance.drop(["charges"], axis=1)
y = df_insurance["charges"].values
X = train_data.values

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=1234)

# RandomForestRegressor のインスタンスを作成
reg = RandomForestRegressor(random_state=1234)

# 訓練データでモデルを訓練
reg.fit(X_train, y_train)

# テストデータに対する予測値を計算
y_pred = reg.predict(X_test)

# y_test と y_pred を並べて DataFrame に格納
results = pd.DataFrame({
    'Actual': y_test,
    'Predicted': y_pred
})

# テーブルを表示
results.head()

実際は約400人分のデータが格納されています。

それではこれらのデータに対して、MSE・RMSE・MAEを計算していきましょう。

from sklearn.metrics import mean_squared_error, mean_absolute_error

# テストデータに対する MSE スコアを計算
mse = mean_squared_error(y_test, y_pred)
rmse = np.sqrt(mse)
mae = mean_absolute_error(y_test, y_pred)

print("MSE =", mse)
print("RMSE =", rmse)
print("MAE =", mae)

それぞれの値が出力されました。

計算式と見比べても、妥当な結果が出ていることが確認できます。

おわりに

いかがだったでしょうか。

今回は機械学習において重要な評価手法であるMSE、MAEについて詳しく解説していきました。

今回紹介したMSE・MAEは評価指標の中でも最も基本的なものであり、よく使われる評価手法です。

実際の機械学習プロジェクトでは他にも多くの評価手法が用いられますので、今後も紹介していきます。

この記事が、皆さんが機械学習モデルの評価手法を理解する一助となれば嬉しいです。

お読みいただきありがとうございました。

弊社株式会社Nucoは機械学習手法を多く扱っており、AIを使って様々なサービスを開発しています。

ITやAIに関する強みを活かしたい・身につけたい、これからの時代に必要な人材として日々仕事をしたいという方は、ぜひこちらから株式会社Nucoへエントリーをお願いします！

今回の記事や株式会社Nucoに関するご質問・ご意見、ご相談など何でもお気軽にこちらまでご相談ください。