StatModeling Memorandum

StatModeling Memorandum

StanとRとPythonでベイズ統計モデリングします. たまに書評.

データ解析で割安mobile PCを探す

この記事の続編です。一緒にやろうという人がなかなか現れないので、一人でたたき台を作りました。

目的

目的は機能の割にお得な割安mobile PCを探すことです。mobile PCの厳密な定義はないのですが、ここではディスプレイが12型~14型で重さが1kg前後としました。また、各社の最新モデルだけを対象としました。

データの取得方法

メーカーを決める→本気で買うつもりで公式サイトと価格comを比較して安い方にする→人力スクレイピング です。現時点では公式サイトも多く、スクレイピングのコードを書いても労力のもとが取れないので10時間ほどかけて人力スクレイピングして集めました。

データの内容

8社・10モデルで44商品です。おすすめモデルを中心にしました。生データを置いておきます(これこれ)。

次の統計モデリングで使用する、PCの機能を表す説明変数は18個考慮しました。CPU・メモリ・SSD・PCIe・ディスプレイのサイズ/解像度/光沢非光沢・重さ・バッテリ持続時間・キーボードバックライト・LANポート・SIMポート・USB3.0の数・USB3.1の数・各種出力などです。前処理はそこそこ必要で、例えばCPUはこのサイトベンチマークスコアの値に変換して使いました。また、キーボードの打ちやすさ、画面の見やすさ、公称でないバッテリー持続時間などはこちらのサイトから取得して、一部を説明変数として使いました。目的変数は税込み価格です。

簡単な可視化は記事の最後にある発表資料を見てください。

統計モデル

切片・説明変数の項・ブランド(会社名の影響)の項からなるシンプルな回帰です。ブランドは正規分布に従うとし、その標準偏差は弱情報事前分布を設定し、データから推定しました(階層モデル)。例えば「Think Padのキーボードが打ちやすい」という特徴があっても、今回は会社の影響と切り分けできないのでブランドの影響に組み込まれることになります。

計算方法

StanとRで計算しました。記事の最後の方にコードを載せておきます。計算時間はSurface Pro 3で1chainあたり約20秒ほどです。

結果

説明変数の影響

f:id:StatModeling:20201106182810p:plain

黒い点が推定した事後分布(からのMCMCサンプル)の中央値で、横に伸びている線が95%ベイズ信頼区間です。

影響があると断言できそうなのは、CPUとメモリ容量とSSD容量ぐらいでした。重さは軽い方が高い傾向はあるのですが、95%区間がゼロをまたいでおり、そうも断言できない結果となりました。

ブランドの影響

f:id:StatModeling:20201106182814p:plain

凡例は「説明変数の影響」と同じです。大差なしという結果です。あると思っていたのでやや残念です。

実際の価格 vs. 「潜在的な価値」

f:id:StatModeling:20201106182819p:plain

凡例は「説明変数の影響」と同じです。直線y=xの上側が割安な商品、直線y=xの下側が割高な商品です。ほとんどの商品が直線y=xの近くにあるので、目立つ割安・割高な商品はないと言えます。市場原理はなかなか強力のようです。どれも値段相応の価値があると言えるので、好きなもん買えばいいと思います。

しかしよく見ると、富士通の商品はMCMCサンプルの中央値がすべて割安側にあり、また(性能に関係ない)ブランド効果も比較的低いので、会社として見ると割安な商品を出す傾向にあると思います。たしかに公式サイトの訳あり商品はなんかいつも安い気がする。

割引%offのBest3・Worst3

目立った割安・割高な商品はないですが、例えばMCMCサンプルの中央値ベースで割引%offのBest3・Worst3なんかも求めることができます。

best1best2best3worst1worst2worst3
price103058156800109938219427139655167184
潜在的な価値12.2万円17.40万円12.09万円18.76万円12.33万円15.10万円
%off15.59.99.1-16.9-13.2-10.7
search_date201607172016071720160717201607172016071720160717
search_sitekakakukakakukakakukakakuofficialofficial
urlhttp://kakaku.com/item/K0000872152/http://kakaku.com/item/K0000855827/http://kakaku.com/item/K0000752290/http://kakaku.com/item/K0000855828/http://shopap.lenovo.com/jp/notebooks/thinkpad/x-series/x1-carbon/#tab-customizehttp://www.apple.com/jp/shop/buy-mac/macbook-air
company_nameApplePanasonicApplePanasonicLenovoApple
model_nameMacBookAirLet'snoteSZ5MacBookAirLet'snoteSZ5ThinkPadX1CarbonMacBookAir
CPUCorei5-5250UCorei5-6300UCorei5-5250UCorei5-6300UCorei5-6200UCorei7-5650U
memory844848
SSD128128256256128256
PCIe101001
display_size13.312.113.312.11413.3
display_res_width144019201440192019201440
display_res_height900120090012001080900
display_touch000000
display_glare101001
display_vote000010
keyboard_light101011
keyboard_vote000010
battery_size54NA54NA5254
battery_time11211.512139.812
battery_time2NANANANA5.62NA
weight1.350.8751.350.8491.181.35
DVD000000
SIM010000
LAN_port010100
USB30333333
USB31000000
output_HDMI111111
output_VGA010100
SDcard111111
MSoffice000000

best1best3Mac Book Airのローエンドな商品です。これらは少々古い割に人気があるので、取り扱っている店が多く、価格comで激しい競争にさらされてお買得になっていると思われます。一方で、Appleの公式サイトで選んだハイエンドな商品はworst3になっています。Appleの公式サイトで買うのは割高の傾向があると言えるでしょう。

best2worst1はLet's note SZ5です。ともに価格comで扱っている店も十分にあるのにこの差があるところが面白いです。1商品にしぼって価格comを信じるのではなく、データ解析の関係者ならメタな視点でお買い得な商品を選びたいものです(まあ統計モデルもお買い得かも仮説にすぎないのですが)。

Future work

価格comのWeb APIAmazon APIを使って、商品を最新モデルに限らず、さらに扱っている店舗の影響や価格推移などのデータを集めるのは考えられます。ただし、取り扱っている店の少なさ、限定モデルかどうか、などをチェックしてフィルターする必要がありそうです。しかし、データが増えれば、「ある会社の製品は早く値段が落ちる」なんてことも分かりそうな気がします。データを定期的に取得するのが面倒なんだよなぁ。

ソースコード

Stanコードは以下です。

data {
  int N;
  int D;
  int K;
  matrix[N,D] X;
  vector[N] Y;
  int N2K[N];
}

parameters {
  vector[D] beta;
  vector[K] brand;
  real<lower=0> s_Y;
  real<lower=0> s_brand;
}

transformed parameters {
  vector[N] mu;
  vector[N] mu_plus_brand;
  mu = X*beta;
  mu_plus_brand = mu + brand[N2K];
}

model {
  beta[1] ~ student_t(4, 0, 3);
  beta[2:(D-1)] ~ student_t(4, 0, 1);
  s_brand ~ student_t(4, 0, 1);
  brand ~ normal(0, s_brand);
  Y ~ normal(mu_plus_brand, s_Y);
}

実行するRコードは以下です。

library(rstan)

d <- read.csv(file='input/data.csv', stringsAsFactors=FALSE)
d_cpu <- read.csv(file='input/cpu_info.csv', skip=1, stringsAsFactors=FALSE)
rownames(d_cpu) <- d_cpu$CPU
company_names <- c('Lenovo', 'Dell', 'NEC', 'Panasonic', 'Fujitsu', 'VAIO', 'HP', 'Apple')
d$company_name <- factor(d$company_name, levels=company_names)
d$cpubenchmark <- d_cpu[d$CPU, ]$cpubenchmark/4000
d$price <- d$price/100000
d$display_res <- (d$display_res_width * d$display_res_height)/1920/1080
d$battery_time1 <- d$battery_time1/20
d$memory <- d$memory/16
d$SSD <- d$SSD/512
d$ports <- d$LAN_port

usb_cvt <- c('0'=0, '1'=0.5, '2'=0.8, '3'=1)
d$USB30_val <- usb_cvt[as.character(d$USB30)]
d$USB31_val <- usb_cvt[as.character(d$USB31)]

Y <- d$price
gr <- d$company_name
use_cols <- c('cpubenchmark', 'memory', 'SSD', 'PCIe', 'display_size', 'display_res', 'display_touch', 'display_glare', 'keyboard_light', 'battery_time1', 'weight', 'DVD', 'SIM', 'ports', 'USB30_val', 'USB31_val', 'output_HDMI', 'MSoffice')
X <- data.frame(1, d[ , use_cols])
data <- list(N=nrow(X), D=ncol(X), K=nlevels(gr), X=X, Y=Y, N2K=as.numeric(gr))

stanmodel <- stan_model(file='model/model.stan')
fit <- sampling(stanmodel, data=data, seed=1)

発表資料

9/7にYahoo!でこの内容でLTしました。資料は以下です。