数字の食い違いを「誤差」の一言で済ませないようにしよう [週刊IFWA 2011/4/25]

定期メルマガの巻頭コラムのアーカイブです。メルマガの登録はこちら↓からどうぞ。
http://ibukuro.blogspot.com/2010/07/blog-post_12.html

■ 数字の食い違いを「誤差」の一言で済ませないようにしよう

調査データは、その精度や意味を決める要素が大きく3つあるというふうに考えています。その3つは下記の通りです。

・サンプル
・データ収集方法
・集計方法と指標の定義

アクセス解析や国勢調査のような全数調査でもない限り、母集団全体の数値を特定のサンプルから推定することになります。どういうサンプリングを行い、最終的にどのくらいの回収率で回答を得たのかまでを、ここでの「サンプル」の意味合いとしています。この部分で統計的な標本誤差と回答の偏りが決まります。

データの収集方法は、アンケート調査などであれば、質問文や回答の選択肢、テレビ視聴率調査などであれば、どのように機械が動作して視聴行動を計測するのかということを指します。同じアクセス解析でも、サーバ・ログとJavaScript計測タグでは違うデータを収集しているという違いがあるわけです。

次の集計方法と指標の定義は、どういう集計結果をどのような言葉で表現しているかというセットなので、一つにまとめています。アクセス解析であれば、同じ「訪問」という言葉を、セッション（30分以上の間隔があいたら別の訪問と考える概念）の意味で使っているのか、ユニーク・ユーザ（集計期間における同一人物のアクセスは1とカウントするもの）の意味で使っているかで、集計結果が違ってきます。

多くの方は、同じようなデータで数字が異なった場合に、「誤差」という表現で「逃げる」ことが多いのですが、きちんとこの「誤差」が生じる理由を考えて向き合うことが大事です。必ずこの3種類の一つ以上が「誤差」の要因なのですから、違うデータには明確な「差」があるわけで、ちょっとした食い違いという意味合いでよく使われる「誤差」という心地のよい言葉で、変に納得しないという姿勢が重要だと思います。

関連リンク：
過去のメールマガジンの巻頭コラム