StatModeling Memorandum

StatModeling Memorandum

StanとRとPythonでベイズ統計モデリングします. たまに書評.

『わけがわかる機械学習』中谷秀洋(著)の書評

僕が中谷さんと初めて会ったのはみどりぼんの読書会で、初めて話したのは岩波DSの打ち合わせだったと思います。今でもそんなに親しくはないと思います。しかし、中谷さんのブログは10年ぐらい前から読んでいました。自然言語処理を中心とする機械学習に関連する理論(の解釈)・論文レビュー・数値実験の記事が多く、他のブログでは見られない独特かつ理解の深い内容で、毎日勉強させてもらっていました。今でも何度も読むべきブログです。その中谷さんが機械学習についてまるごと一冊書いたものが本書になります。もともと買うつもりでしたが、献本いただいたので簡単にご紹介いたします。

わけがわかる機械学習 ── 現実の問題を解くために、しくみを理解する

わけがわかる機械学習 ── 現実の問題を解くために、しくみを理解する

目次は以下になります。

  • 0章: はじめに
  • 1章: 機械学習ことはじめ
  • 2章: 確率
  • 3章: 連続確率と正規分布
  • 4章: 線形回帰
  • 5章: ベイズ確率
  • 6章: ベイズ線形回帰
  • 7章: 分類問題
  • 8章: 最適化
  • 9章: モデル選択
  • 10章: おわりに
  • 付録A: 本書で用いる数学

特長

一読して最初の感想は前半(2章~3章, 5章)が「確率および分布の初中級者向けの完ぺきな入門」、後半(4章~7章)が「わけがわかるPRML」あるいは「声に出して読みたいPRML」です。

残りの部分は、深層学習を含む機械学習全般(ところどころ深層学習にも言及しています)で必須の内容(モデルとは、交差検証、など)を扱っています。

理論の本にありがちな「天下りで定義や式が与えられて、わけわからんけど式変形していく」ではなく、「経験から確率は〇〇という条件を満たしてほしいよね。仮に〇〇として議論を進めるとどうだろう?」という感じに、ボトムアップで話が展開されていくので納得しながら読みやすいです。

5章は4章を拡張するために導入され、8章は7章の問題を解くために導入されます。章のタイトルだけ見ると一見関係性が不明ですが、流れるように議論をすすめるためにこの配置になっています。

数式に関しては0.1節に

本書は「数式がなくてもわかる本」ではありません。

と書いてあるように大学学部レベルの数式が出てきます。しかし、遠慮なく式が出てくるのは4章以降ですし、式変形の内容や考え方が非常に丁寧に書いてあるので、じっくり読めば理解できて力になることは間違いありません。

以降では部分的に補足します。

2~3章

0, 1, 9, 10章は合計して25ページぐらいなのに、2章と3章は合計して65ページもあって力の入れようが分かります。一見普通の章タイトルですが、内容はめちゃくちゃいいです。特に例題をまじえて「同時分布・周辺分布・条件付き確率分布」を説明しているあたりがいいです。

僕のブログの以前の記事

色々読んでみましたが、現在決定版と言えるものは存在しないように思えました。個人的には、シグマと積分の復習、場合の数・数え上げの方法、確率、確率変数、確率密度、度数分布とヒストグラム、代表値・平均・分散、確率分布、同時分布、周辺分布、確率変数の変数変換、検定、散布図と箱ひげ図、回帰、相関あたりをRやPythonなどを使いながらシンプルに説明していく本があるといいと思うのですが、なかなかバランスのとれたいい本がありません。初歩の初歩しか説明してない、グラフが少ない、検定にページを割きすぎ、分厚い、ちょっと難しいなどの不満点があります。立ち読みして自分にあった本を選ぶのがいいと思います。

と書きましたが、「確率、確率変数、確率密度、代表値・平均・分散、確率分布、同時分布、周辺分布、確率変数の変数変換」に関して僕が想定する内容と比べて200%ぐらいの完成度です。これからは「そのあたりがわかんなかったら、この本の2,3章読んでおいてね」と言うことにします。

4~7章

4.1節 最小二乗法の最後の段落(p.88)で

ここまで、自然な流れに従って「正解」を出したように感じるかもしれません。しかしこの短い話の中で大きな仮定を4つも使っています。仮定1:関数の形が1次式。 仮定2:二乗和誤差が最小=良い答え。仮定3:誤差独立の仮定。仮定4…(略)

というように前提条件をきっちり説明したうえで、「どこが拡張しやすいか」「拡張したらどうなるか」を続けて論じていきます。一貫してこのような理屈の説明が出てくるのが本書の特徴と思います。

7章は中谷さんの専門の自然言語処理の例題で話がすすむためか、モデルの考え方や苦労などもちらほらあって、勉強になるのはもちろんとても楽しく読める章になっています。

4~7章は、PRMLの3~4章を読もうとしたけど挫折した人、読んだけどイマイチ分かってない人に特にすすめたいです。

Enjoy!