p値よりも信頼区間を - まとまり日記

とLaTrobe大学の心理学者Geoff Cummingsが以下の動画で述べている。

心理学では(もちろん心理学だけではないが）ある仮説を検証するときによくp値を用いる。これは帰無仮説が正しいとしたときに手元の標本統計量が得られる確率である。この値が0.05というマジックナンバー以下になると、帰無仮説と整合的でない統計量が得られたと見なされ棄却される。

しかしこの動画ではCummingsはp値はむしろミスリーディングな統計量であるので余り使うべきではなく、それよりも信頼区間を用いるよう提案する。その理由は、p値が母集団について述べる情報量は不十分なほど少なく、さらにその値自体が偶然による変動を受けやすく値が大きく変動することがあるからである。

たとえば上の動画では同じ母集団から何回もサンプリングをして、（母集団においては帰無仮説が成り立っていないことを前提として）各サンプリングに対してどういうp値が得られるかをシミュレーションしている。

そうすると、p値は試行ごとに大きく揺れ動き、あるときは.5近くになるが次の試行では.01ぐらいになるといったことが起こる。ただしp値は最初に推定した信頼区間の中に大多数は収まっている。

実際、実際のp値が.05の時の80％信頼区間は（.00008, .44）と非常に大きく、p値のもたらす情報量が少ないことが理解できる。

ただこれは統計学の参考書

でも書かれていることなので、Cummingsのようにこのアイデアから

という本を書いてしまうのは行き過ぎではないかという気がする。ただし中身を見ていないので、ここで書かれていることを超えたものがあるのかもしれない。