【kaggle】ASHRAEコンペ振り返り

昨年末に開催されたASHRAEコンペで銅メダルを獲得できました。

今更ですが復習として取り組み内容の記録になります。

どんなコンペ？

ビルでの省エネの施策を実施した場合の効果を見積もるために、比較対象としての施策をしない場合のエネルギー使用量を予測するコンペでした。

評価指標：RMSLE

Train: 2016年(20,216,100レコード)

Test：2017年-2018年(41,697,600レコード)

特徴量：4種メータ(電気、蒸気、冷水、温水)、天気、位置、ビルIDなど

ターゲット：1時間毎のメーター使用量

データサイズが大きいものの、特徴量が少なく問題設定もシンプルで比較的とっつきやすいコンペであったと思います。

しかし途中から大学？かどこかの機関が公表しているビルのエネルギー量と今回の一部のビルのエネルギー量が同じであることが発見されてしまい(リーク)、結構な人が離脱されていました‥。

勉強になった解法など

上位陣の解法を読む限り差が出たポイントは下記であると感じました。

・外れ値の除去

・Postprocessing

・モデルの多様性

上記ポイントと個人的に気になった解法に関してまとめていきます。

外れ値の除去

メーター使用量をプロットすると下記のように全く使用されていない時期があったり、特定の期間に異常に高い値を示すビルがあったりしたため、モデルに入れる前の前処理を行うことでスコアを改善することができていました。

全部のビル(1449種)×メーター(4種)の値を泥臭く1個1個可視化して前処理しているチームが多そうでしたが、ある程度自動的に値を発見する方法も紹介されていました。

また、単純に値が0だったら削除するというわけではなく、同じ場所IDにあるビルで同時刻に発生している0のみを削除するなどチームによって違う処理が行われていたようです。

yaaku

ビル数1449もあるので探すの大変そう…

と思っていましたが、親切にも一目でわかるような可視化方法がNoteBookでシェアされています。

# Load data
train = pd.read_csv('/kaggle/input/ashrae-energy-prediction/train.csv')
train['timestamp'] = pd.to_datetime(train.timestamp)
train = train.set_index(['timestamp'])

# Plot missing values per building/meter
f,a=plt.subplots(1,4,figsize=(20,30))
for meter in np.arange(4):
    df = train[train.meter==meter].copy().reset_index()
    df['timestamp'] = pd.to_timedelta(df.timestamp).dt.total_seconds() / 3600
    df['timestamp'] = df.timestamp.astype(int)
    df.timestamp -= df.timestamp.min()
    missmap = np.empty((1449, df.timestamp.max()+1))
    missmap.fill(np.nan)
    for l in df.values:
        if l[2]!=meter:continue
        missmap[int(l[1]), int(l[0])] = 0 if l[3]==0 else 1
    a[meter].set_title(f'meter {meter:d}')
    sns.heatmap(missmap, cmap='Paired', ax=a[meter], cbar=False)

# Load data

train = pd.read_csv('/kaggle/input/ashrae-energy-prediction/train.csv')

train['timestamp'] = pd.to_datetime(train.timestamp)

train = train.set_index(['timestamp'])

# Plot missing values per building/meter

f,a=plt.subplots(1,4,figsize=(20,30))

for meter in np.arange(4):

df = train[train.meter==meter].copy().reset_index()

df['timestamp'] = pd.to_timedelta(df.timestamp).dt.total_seconds() / 3600

df['timestamp'] = df.timestamp.astype(int)

df.timestamp -= df.timestamp.min()

missmap = np.empty((1449, df.timestamp.max()+1))

missmap.fill(np.nan)

for l in df.values:

if l[2]!=meter:continue

missmap[int(l[1]), int(l[0])] = 0 if l[3]==0 else 1

a[meter].set_title(f'meter {meter:d}')

sns.heatmap(missmap, cmap='Paired', ax=a[meter], cbar=False)

横軸が日付、縦軸がビルのIDのヒートマップがメーター毎に4列あります。水色がターゲットの値が０、白が欠損値、茶色がそれ以外の値となります。

実務でも異なるジャンルに対する目的変数の分布を確認する必要性があったりするので勉強になります…。

他にも電力のメーターを表すmeter=0はコンセントを挿しているだけで消費するからあり得ないとして？全削除しているチームもあり、ここら辺の処理も何がベストかというのは無くデータ依存で色々やる必要性がありそうです。

Postprocessing

上記の前処理を行うことで予測値の平均が上がってしまうため1未満の数字(0.8~0.99)を掛けて予測値の分布を小さくするアプローチも有効であったようです。

yaaku

そんなの思いつかねぇ…

と思いましたが、過去の地震コンペでも同様の手法が使われていたようで単なるリサーチ不足でした…。

2位のチームは掛ける係数の値を実験的に決めていました。

Disucussionからは学習とテスト期間を読み取れませんでしたが、前半を学習データ、後半をテストデータと想定している？みたいで、最初に下記のように外れ値がないデータを取り出して予測を行うとCV:0.15, LB:0.11となります。ここからPostprocessingを行うとスコアが悪くなることを確認したようです。