pythonのprastクラスによる集計（５）　t検定

　今回は t検定を取り上げます。

　２つのグループ(数値データ)について、その平均値に
有意な差があるかどうかを検証します。

　たとえば、男女間で身長に差があるかどうかなどを調べます。

　処理するcsvファイルは第１回〜第４回と同じ data01.csv です。

　当Webページで紹介するスクリプトや素材データ一式は、
prast05.zip という圧縮ファイルに同梱しておきます。

《このページの目次》

• 1.　scipyライブラリのt検定用メソッド
• 2.　Prastクラスの t_test()
• 3.　対応のない t検定のサンプルスクリプト
• 4.　対応のある t検定のサンプルスクリプト
• 5.　クラスの外で定義されている t_test()
• 6.　等分散か否かを調べる F検定

1.　scipyライブラリのt検定用メソッド

　pythonのscipyライブラリには t検定を行うメソッドが２種類あります。

• 対応のない２つの数値群の平均値を検証する ttest_ind()
• 対応のある２つの数値群の平均値を検証する ttest_rel()

　男女間(異なる２つの標本)について、その身長や体重を比較するのは
対応のないケースです。

　「対応のある」は、１つの標本に対して２種類の調査結果を比較する場合です。

　同じ10人に対して２種類の睡眠剤を投与して、
薬を用いない場合と比べて睡眠時間がどれだけ増減したかを調べます。

　２種類の薬についてその効果を比較するわけです。

　次のように記述します。

import scipy.stats as stats
t, p = stats.ttest_ind(a, b, equal_var=True)  # 対応のない場合
t, p = stats.ttest_rel(a, b)  # 対応のある場合

　引数 a, b は array(配列)です。

　配列に準ずる Series などでも大丈夫みたいです。

　equal_varオプションは、a, b の分散が等しいといえるなら True、
不等分散なら False にします。デフォルトは True。

　ttest_rel() の方にはequal_varオプションはありません。

　戻り値の t は統計量、p は有意確率。

　p＜0.05 の場合、「２群の平均値に有意差がある」と判断されます。

　このpは両側検定の値です。

　「aとbの平均値が等しいか否か」の判断材料です。

　「aがbより大きいか(または小さいか)」を見ればいいだけなら片側検定ですが、
ttest_ind(), ttest_rel() には片側検定を指定するオプションがありません。

　両側検定で有意差があると分かれば、２群の平均値を見て
どちらが有意に大きいか(小さいか)を判断できます。

　でも、片側検定と意味合いが必ずしも同じとはいえません。

目次に戻る

2.　Prastクラスの t_test()

　Prastクラスの t_test() は t検定を行うメソッドです。

　片側検定にも対応しました。

　また、pairedオプションを True にすれば対応のある場合の検定を行えます。

Prast.t_test(cname, gkey, alternative="two-sided",
    paired=False, equal_var=False)
dod = psx.t_test("height", "gender", equal_var=True)

　戻り値は OrderedDict で、t, p_value などが盛り込まれます。

　引数の意味は次のとおり。

• cname: 検定対象の列ラベル。height, weight など。
• gkey: 分類の手がかりの列ラベル。gender なら男女別の分類となる。
  　分類が３種類以上になるときは、最初の２種類だけが取り上げられる。
• alternative: 対立仮設の指定。less, greater, two-sided のいずれか。デフォルトは two-sided。この３つ以外(allなど)の場合は３つの p_value を返す。
• paired: 対応のあるケースでは paired=True とする。デフォルトは False。
• equal_var: 等分散か否かの指定。デフォルトは False。

目次に戻る

3.　対応のない t検定のサンプルスクリプト

　男女間で身長の平均値に差があるかどうかをみます。

　平均値が集団の代表値として最も妥当性を持つのは正規分布の場合です。

　なので、数値データが正規分布かどうかを事前にチェックするのが本来ですが、
今回は省略します。

　また、F検定で等分散か否かをチェックするのも省略して
不等分散を仮定して検定を行います。

　スクリプトは次のとおり。

 # t_test01.py (coding: cp932)
 import pandas as pd
 from prast import Prast
 
 dtf = pd.read_csv("data01.csv")
 psx = Prast(dtf, "data01_c.txt", "data01_i.txt", "cp932")
 dod = psx.t_test("height", "gender", equal_var=False)
 for key in dod.keys():
     print(key)
    print(dod[key])
    print('')

　戻り値には下のものがあります。

• name: 各グループの名前→ 男性/女性
• t: 統計量→ 10.3735268626
• p_value: 有意確率→ 2.08272110497e-22
• alt: 「対立仮説: 平均値に差がある. (two-sided)」
• mean: 各グループの平均値→ [166.71565656565656, 160.09947916666667]
• difference: 平均値の差→ 6.61617739899
• count: 各グループの要素個数→ [198, 192]

　p_value が非常に小さい値なので、有意水準を１％としても
有意な差があると判断されます。

目次に戻る

4.　対応のある t検定のサンプルスクリプト

　data02.csv は、10人に対して２種類の睡眠剤を投与し、
睡眠時間がどれだけ増加したかを記録したものです。

　列ラベルには次の３つがあります。

• extra: 睡眠時間の増減値。マイナスなら減少。
• group: 睡眠剤の種類。1, 2 の２種類。
• ID: 被験者番号。1〜10

　csvの行数は 20行です。

　1〜10行目は睡眠剤１の結果、11〜20行目が睡眠剤２の結果。

　IDは、10行目までが 1〜10 で、11〜20行目も 1〜10 です。

　実は統計解析ソフトRに備えられているデータをそのまま使っています。

　extra(増減時間)をgroup(薬の種類)で分類した上で検定します。

　サンプルスクリプトは下のとおり。

 # t_test02.py (coding: cp932)
 import pandas as pd
 from prast import Prast
 
 dtf = pd.read_csv("data02.csv")
 psx = Prast(dtf, encoding="cp932")
 dod = psx.t_test("extra", "group", paired=True)
 for key in dod.keys():
     print(key)
    print(dod[key])
    print('')

　実行結果は次のとおり。

• name: 1/2
• t: -4.06212768338
• p_value: 0.00283289019738
• alt: 対立仮説: 平均値に差がある. (two-sided)
• mean: [0.75, 2.3299999999999996]
• difference: -1.58
• count: [10, 10]

　p_value＜0.05 なので、睡眠剤 1, 2 の間に有意な差があるといえます。

目次に戻る

5.　クラスの外で定義されている t_test()

　Prastクラスに属さない t_test() もあります。

　第１引数と第２引数に２群の数値配列を指定します。

　こちらの方が素直な感じで使いやすいかもしれません。

　男女間の体重を比較するスクリプトを掲げておきます。

 # t_test03.py (coding: cp932)
 import pandas as pd
 import prast as ps
 ps.set_encoding("cp932")  # python2用にencodingを設定
 
 dtf = pd.read_csv("data01.csv")
 male = dtf[dtf["gender"] == "m"]  # 男性のみのDataFrame
 female = dtf[dtf["gender"] == "f"]  # 女性のみのDataFrame
 a = male["weight"]  # 男性の体重
b = female["weight"]  # 女性の体重
dod = ps.t_test(a, b, alternative="greater")
for key in dod.keys():
    print(key)
    print(dod[key])
    print('')

　t_test() に与える引数 a, b には欠損値 NaN が含まれていてもかまいません。

　内部処理で NaN を除去した上で検定します。

目次に戻る

6.　等分散か否かを調べる F検定

　分散が等しいといえるかなどをチェックする F検定は
var_test() で行います。

　これも Prastクラスに属するメソッドと
クラスの外で定義されているものとがあります。

Prast.var_test(cname, gkey, alternative="two-sided")  # クラス内定義
var_test(a, b, alternative="two-sided")  # クラス外定義

　引数の意味合いは t_test() と同じです。

dod = psx.var_test("height", "gender")

　上記のようにクラス内メソッドを呼び出したときの戻り値は下のとおり。

• name: 男性/女性
• f(F比＝男女の分散の比率): 0.950586713521
• p_value(有意確率): 0.723947458808
• alt: 対立仮説: F比が 1.0 ではない. (two-sided)
• var(分散): [38.63229169871301, 40.64047093150087]
• df(自由度): [197, 191]

　女性の分散の方が少し大きいですが、
p_value＞0.05なので、「分散が等しい」(帰無仮説)を棄却できません。

　つまり「分散が等しくない」(対立仮設)を採択できません。

　以下に F検定で等分散か否かを調べた後で t検定を行うスクリプトを掲げます。

 # t_test04.py (coding: cp932)
 import pandas as pd
 from prast import Prast
 
 dtf = pd.read_csv("data01.csv")
 psx = Prast(dtf, "data01_c.txt", "data01_i.txt", "cp932")
 fod = psx.var_test("height", "gender")  # F検定
 flag = fod["p_value"] > 0.05  # True or False
 print(u"F検定: F比=%f" % fod["f"])
if flag:
    print(u"等分散: p=%f" % fod["p_value"])
else:
    print(u"不等分散: p=%f" % fod["p_value"])
print('')
dod = psx.t_test("height", "gender", equal_var=flag)
print(u"t検定の結果：")
for key in dod.keys():
    print(key)
    print(dod[key])
    print('')

〜　以上　〜

Copyright (C) T. Yoshiizumi, 2018 All rights reserved.

• 第１回　度数と割合の表示
• 第２回　クロス集計
• 第３回　カイ２乗検定
• 第４回　分布のチェック
• 第６回　複数回答の集計・前編
• 第７回　複数回答の集計・後編
• python関連記事
• トップページへ