… この記事では、以前WAICとLOOCVの比較をした時に使った3つのモデル（重回帰、ロジスティック回帰、非線形回帰）において、「定義通りに算出したオリジナルのWBIC」と「近似式（上記論文の(20)式）で求めたWBIC」を比較してみました。 手法 case 1 重回帰 真のモデルは以下です。 あてはめたモデルは以下です。 データ点の数Nについては20,100を試しました。例としてN = 20の場合を説明します。まず乱数でデータX（すなわち）を生成します。次にそのXの値を使って…

…ation and WAIC. arXiv:1507.04544. (url) [2] 渡辺澄夫. 広く使える情報量規準(WAIC)の続き （注４）【WAICとクロスバリデーションの違いについて】 (url) [3] Sumio Watanabe. Comparison of PSIS Cross Validation with WAIC. (url) leave-one-outクロスバリデーション（以下LOOCV）およびWAICは予測のよさをベースにしたモデル選択に用いられ…

…ベイズモデルの場合のWAICとは何か、またその場合のWAICの高速な算出方法について書きます。 背景 以下の2つの資料を参照してください。[1]に二種類の実装が載っています。[2]に明快な理論的補足が載っています。 [1] 階層ベイズとWAIC (清水先生の資料です、slideshare) [2] 階層ベイズ法とWAIC (渡辺先生の資料です、pdf, html) モデル1 資料[1]にあるモデルを扱います。すなわち、 ここでは人数、は人のインデックスです。は個人差を表す値に…

…を踏まえてStanでWAICとWBICを計算してみます。 今回は例題として混合正規分布から発生させたデータ100個を用いて、2種類のモデルで推定を行い、それぞれに対してWAICとWBICを求めてみます。まずはデータ生成部分のRコードは以下です。 N <- 100 a_true <- 0.4 mean1 <- 0 mean2 <- 3 sd1 <- 1 sd2 <- 1 set.seed(1) Y <- c(rnorm((1-a_true)*N, mean1, sd1), rn…

…,4章の定理ひいてはWAICがなにやら抽象的で納得ができないといった事態になると思います。いつかp.93 例4のような特異点解消定理を使った例をいくつかこなして、さらに数値実験をして感覚をつかめたらと思います。渡辺先生は「もちろん『代数幾何学を知らなければWAICを使うことはできない』ということはありません。 WAICは簡単に計算できますので誰でも使うことができます。」とおおらかにおっしゃってくれていますので（web）現段階でも使います。 また書籍には、ベイズ推測のユーザーと…