作業記録, 比較実験考察 7, Dec, 2019 Sat

7, Dec, 2019 Sat

- パラメータ調整

前回、
・データサイズが大きければ batch size もある程度大きい方が良さそう
・learning rate が大きいと loss がガタガタし小さいとスムーズになるようだ
というブログを拝読した。( https://weblog.2410.dev/2019/12/6-dec-2019-fri.html )

そこで、 learning rate と batch size を上げる実験をそれぞれ行った。

*** learning rate を上げる。

bs-256_lr-1e-5





loss が下がって精度が上がっている！

bs-256_lr-1e-5:
epoch 49, loss: 0.1187, val_loss: 0.1165, micro_precision: 0.8924, micro_recall: 0.9444
bs-256_lr-1e-4:
epoch 49, loss: 0.0044, val_loss: 0.0269, micro_precision: 0.9716, micro_recall: 0.9810

Annotaion set が学習しやすいやつなのでもともといいけど、改善されてなお精度が上がりそう。

*** batch size 512, 1028 で実験
(メモリはbs512で17000弱, bs1028で30000強MiBを喰う。)

bs-512_lr-1e-4:
epoch 49, loss: 0.0079, val_loss: 0.0308, micro_precision: 0.9718, micro_recall: 0.9806
bc-1028, lr-1e-3: 
epoch 49, loss: 0.0034, val_loss: 0.0298, micro_precision: 0.9688, micro_recall: 0.9810

bc-1028, lr-1e-3 




なに？　ってくらいすごい。
batch size を上げればよかったのか。。。

アノテーションセットの修正へのモチベーションが高まる。

# Annotaion Set 作成
# Cross validation 作成


=================
日本橋まで
移動情報学術領域相談会行ってきた。
自分の成果が触れられていてすごく嬉しかった。
先生が発表したんだけど、犬の部分だけ声小さいし犬の部分だけ質問もあやふやで興味なさ過ぎることに気づいた。あんまり犬好きじゃないって……知らなかった……。