中井悦司氏のITエンジニアのための機械学習理論入門を読んだ。最近はやりの深層学習ではない機械学習なので、タイトル通り本当入門書といった感じだ。カバーしている内容も、
といった辺りである。最小二乗法とか最尤推定が機械学習かと言えば、ちょっと違うと思うのだが、最小二乗法の場合にも、トレーニングデータとテストデータを用意する必要があることが書かれていて、当たり前なのだが、なるほどと思ってしまった。昔々、大学時代に、何かの実験の実習で、測定データーから最小二乗法を用いて、一次関数の傾きと切片を求めるようなことをした経験がある。当時は全ての測定データを用いて、傾きと切片を求めていたが、このようにすると機械学習で起きる過学習のような状況(オーバーフィッテング)になってしまい、求めた傾きと切片は必ずしも最適なものではなくなって、計算に用いた測定データ以外には適応できなくなってしまう。当時は、オーバーフィッテングの話を聞いた記憶はない。
それと、教師なしの機械学習について、なんとなくわかったようなわかってないような、あやふやな感じだったが、k平均法の項目を読んで、クラスタリング(グループ化)のことだというのが、今回わかった。だが、最後の項目のベイズ推定は、未だによく判らない。
