行動データの計算論モデリング 強化学習モデルを例として

Front Cover
株式会社 オーム社, Sep 25, 2018 - Computers - 224 pages

 人や動物の行動データの背後にある計算過程をモデル化し,行動の理解と予測につなげる。


本書は,主に行動データの計算論モデリングの方法やその理論を初学者に向けて丁寧に解説します。実例として,心理学や神経科学の実験課題として良く用いられる,ギャンブル課題における選択行動データを扱います。本文では自分ではプログラミングをしない読者も想定して,プログラムは用いずに計算論モデリングの概要がイメージできるような解説をこころがけました。実際に計算論モデリングをするためのRコードやStanコードは付録やサポートページで解説しています。


はじめに
第1部 基礎編
第1章 計算論モデリングとは
1.1 計算論モデルとは何か
1.2 計算論モデリングとは何か
1.3 計算論モデリングにより何が得られるのか
1.4 シミュレーション
1.5 おわりに
第2章 計算論モデリングの基礎
2.1 強化学習モデル
2.1.1 数学的表記法
2.1.2 Rescorla-Wagnerモデル
2.1.3 行動選択
2.2 パラメータ推定
2.2.1 モデルで次の選択を予測する
2.2.2 最尤推定
2.3 モデルを比較する
2.4 おわりに
第3章 強化学習モデルを用いたデータ解析の事例
3.1 報酬予測誤差に対応する脳活動の解析
3.2 選択・学習における社会的影響
3.3 主観的価値の推定
3.4 人種偏見の効果
3.5 疾患に関する行動特性の計算論モデリング
3.5.1 抑うつと強化学習
3.5.2 アイオワギャンブリング課題
3.6 おわりに
第2部 実践編
 第4章 パラメータ推定
4.1 最尤推定とベイズの定理に基づく推定
4.1.1 最尤推定
4.1.2 ベイズの定理
4.1.3 MAP推定
4.1.4 ベイズ推定
4.2 Q 学習モデルへの適用例
4.3 集団データ分析
4.3.1 個人レベル分析
4.3.2 固定効果分析
4.3.3 階層モデル
4.4 Q学習モデルを用いた集団データ分析のシミュレーション
4.5 どの推定法を選ぶか
4.6 おわりに
第5章 モデル選択
5.1 モデル選択の例
5.2 AICとBIC
5.3 モデル選択の考え方
5.4 予測の良さに基づくモデル選択
5.4.1 AIC
5.4.2 交差検証法
5.4.3 WAIC
5.5 ベイズ的なモデル選択法
5.5.1 モデルの事後確率
5.5.2 周辺尤度とは何か
5.5.3 周辺尤度では過剰に複雑なモデルにペナルティがかかる
5.5.4 周辺尤度の近似法
5.5.5 周辺尤度とベイズファクター
5.6 尤度比検定
5.7 集団データからモデル選択をする方法
5.7.1 個人レベル分析に基づくモデル選択
5.7.2 固定効果分析に基づくモデル選択
5.7.3 階層モデルに基づくモデル選択
5.7.4 モデルをランダム効果とした分析
5.8 おわりに
第6章 計算論モデリングに基づく統計分析
6.1 計算論モデリングに基づく統計分析の目的と方法
6.2 パラメータの群間比較
6.2.1 パラメータの点推定値を「観測値」として用いる方法
6.2.2 固定効果分析のモデル選択による群間比較
6.2.3 階層ベイズ法による群間比較
6.3 パラメータと連続的な特性との相関分析,回帰分析
6.3.1 パラメータの点推定値を「観測値」として用いる方法
6.3.2 階層モデルによる方法
6.4 モデル内のパラメータ間の比較
6.5 モデルの要素が必要か否かの検討
6.6 潜在変数をリグレッサーとして用いる
6.7 おわりに
第3部 理論・発展編
第7章 結果の解釈,計算論モデルの統計的性質の理解
7.1 パラメータの解釈
7.1.1 パラメータの推定可能性
7.2 シミュレーションでパラメータの効果を調べる
7.3 報酬履歴,選択履歴の効果
7.3.1 ロジスティック回帰モデル
7.3.2 ロジスティック回帰モデルとQ学習モデルの関係
7.4 モデルの誤設定の影響
7.5 おわりに
第8章 強化学習モデルの拡張・ベイズ推論モデル
8.1 行動選択ルールのバリエーション
8.2 選択の自己相関
8.3 価値計算についてのバリエーション
8.3.1 アクター・クリティック学習
8.3.2 Q学習とアクター・クリティック学習の相違点
8.4 状態遷移,遅延報酬を扱う
8.4.1 報酬関数
8.4.2 TD誤差学習
8.4.3 SARSA
8.4.4 Q学習
8.4.5 適格度トレース
8.5 モデルフリー強化学習とモデルベース強化学習
8.5.1 二段階マルコフ決定課題
8.6 パラメータを時間的に変化させる
8.7 ベイズ推定を計算論モデルとして用いる
8.7.1 1次元正規分布モデルのベイズ推論
8.7.2 カルマンフィルター
8.7.3 その他のベイズ推論モデル
8.8 おわりに
第9章 計算論モデリングの課題と発展
9.1 計算論モデルの役割
9.2 扱えるデータのタイプ
9.3 頻度主義とベイズ主義
9.4 新たな計算論モデルを構築する方法
9.4.1 規範的アプローチ
9.4.2 心理学的な理論に基づくアプローチ
9.4.3 神経科学的知見に基づくアプローチ
9.4.4 既存の計算論モデルを組み合わせる
9.5 モデルの統計的構造の理解
9.6 計算論モデリングの応用に向けて
9.7 計算論モデリングのためのソフトウェア,パッケージ
9.8 おわりに
付録A 数学的な補足
A.1 期待値
A.2 対数と指数関数
A.3 本書で用いる確率分布
A.3.1 正規分布
A.3.2 ベータ分布
A.3.3 ガンマ分布
A.4 コイントスに関する計算
A.4.1 μの最尤推定値の導出
A.4.2 μの事後分布の導出
A.5 WAIC
A.6 WBIC
A.7 周辺尤度のラプラス近似
A.7.1 パラメータが一つの場合
A.7.2 パラメータが複数ある場合
A.8 信頼区間
A.9 正規分布モデルの事後分布の計算
A.10 正規分布の周辺化
付録B Rコード,シミュレーションの詳細
B.1 Rescorla-Wagnerモデルのシミュレーション
B.2 Q学習モデルのシミュレーション
B.3 MAP推定
B.4 ベイズ推定によるQ学習の推定
B.5 集団データのシミュレーション
B.6 階層ベイズ
B.7 WAIC, WBICの計算

文献案内
参考文献
索引
 

What people are saying - Write a review

We haven't found any reviews in the usual places.

Contents

67 おわりに
100
理論発展編
101
第7章結果の解釈計算論モデルの統計的性質の理解
102
711 パラメータの推定可能性
103
72 シミュレーションでパラメータの効果を調べる
107
73 報酬履歴選択履歴の効果
112
732 ロジスティック回帰モデルとQ学習モデルの関係
116
74 モデルの誤設定の影響
119

22 パラメータ推定
19
222 最尤推定
20
23 モデルを比較する
24
24 おわりに
27
第3章強化学習モデルを用いたデータ解析の事例
29
32 選択学習における社会的影響
32
33 主観的価値の推定
33
34 人種偏見の効果
35
35 疾患に関する行動特性の計算論モデリング
36
352 アイオワギャンブリング課題
37
36 おわりに
39
実践編
41
第4章パラメータ推定
42
412 ベイズの定理
45
413 MAP推定
46
414 ベイズ推定
47
42 Q学習モデルへの適用例
48
43 集団データ分析
49
431 個人レベル分析
50
432 固定効果分析
51
433 階層モデル
52
44 Q学習モデルを用いた集団データ分析のシミュレーション
54
45 どの推定法を選ぶか
55
46 おわりに
57
第5章モデル選択
58
52 AICとBIC
60
53 モデル選択の考え方
62
54 予測の良さに基づくモデル選択
63
542 交差検証法
65
55 ベイズ的なモデル選択法
66
552 周辺尤度とは何か
67
553 周辺尤度では過剰に複雑なモデルにペナルティがかかる
68
554 周辺尤度の近似法
70
555 周辺尤度とベイズファクター
74
56 尤度比検定
75
57 集団データからモデル選択をする方法
76
571 個人レベル分析に基づくモデル選択
77
572 固定効果分析に基づくモデル選択
79
574 モデルをランダム効果とした分析
80
58 おわりに
82
第6章計算論モデリングに基づく統計分析
84
62 パラメータの群間比較
85
621 パラメータの点推定値を観測値として用いる方法
86
622 固定効果分析のモデル選択による群間比較
88
623 階層ベイズ法による群間比較
90
63 パラメータと連続的な特性との相関分析回帰分析
91
631 パラメータの点推定値を観測値として用いる方法
93
632 階層モデルによる方法
95
64 モデル内のパラメータ間の比較
96
65 モデルの要素が必要か否かの検討
97
66 潜在変数をリグレッサーとして用いる
98
75 おわりに
122
第8章強化学習モデルの拡張ベイズ推論モデル
124
82 選択の自己相関
126
83 価値計算についてのバリエーション
128
832 Q学習とアクタークリティック学習の相違点
130
84 状態遷移遅延報酬を扱う
132
841 報酬関数
133
842 TD誤差学習
134
843 SARSA
137
845 適格度トレース
138
85 モデルフリー強化学習とモデルベース強化学習
139
851 二段階マルコフ決定課題
140
86 パラメータを時間的に変化させる
146
87 ベイズ推定を計算論モデルとして用いる
148
872 カルマンフィルター
150
873 その他のベイズ推論モデル
151
88 おわりに
153
第9章計算論モデリングの課題と発展
155
92 扱えるデータのタイプ
157
93 頻度主義とベイズ主義
158
94 新たな計算論モデルを構築する方法
160
941 規範的アプローチ
161
943 神経科学的知見に基づくアプローチ
162
95 モデルの統計的構造の理解
163
97 計算論モデリングのためのソフトウェアパッケージ
165
98 おわりに
166
付録A 数学的な補足
167
A2 対数と指数関数
169
A3 本書で用いる確率分布
170
A4 コイントスに関する計算
171
A42 μの事後分布の導出
172
A5 WAIC
173
A6 WBIC
174
A7 周辺尤度のラプラス近似
175
A72 パラメータが複数ある場合
176
A8 信頼区間
177
A9 正規分布モデルの事後分布の計算
180
A10 正規分布の周辺化
183
付録B Rコードシミュレーションの詳細
184
B2 Q学習モデルのシミュレーション
185
B3 MAP推定
189
B4 ベイズ推定によるQ学習の推定
190
B5 集団データのシミュレーション
192
B6 階層ベイズ
193
B7 WAICWBICの計算
196
文献案内
198
参考文献
201
索引
206
奥付
211
Copyright

Common terms and phrases

Bibliographic information