2007/10/03

アクセス解析では偏差値は使わない方がよい

今回はアクセス解析における意見をご紹介する。きっかけはWeb担当者Forumに掲載された株式会社CreatorsNetの菅原 裕さんのこの記事。

http://web-tan.forum.impressrd.jp/download/webtan08

こちらのブログはトラックバックが飛ばせないようなので、先方の記事でコメントを付ける予定。

「データを入力するだけで簡単にアクセス解析レポートを作れる、エクセルのフォーマットをダウンロードできる形で用意した。自分なりにアレンジしてぜひ活用してもらいたい。このツールを使えば、アクセス解析ツールだけでは直接読み取れない、別の視点からウェブサイトを解析できる。」というものだが、確かにアレンジが必要で、リサーチ・リテラシーを要求できない一般の方には危険が一杯である。

勿論菅原さんは存じ上げているし、実践を積まれている方です。ご本人は重々承知の上で、サンプルも教科書的にうまく仕上げていらっしゃるのだと理解した上で、使い道には気をつけようという主旨。


記事の中の一つに、「各ページやディレクトリに「偏差値」をつけるエクセルのひな形を用意した」というものがあった。「どのサイトでも偏差値が際だって高いごく一部のページ(ディレクトリ)とそれ以外、という結果になるはずだ。各事業部の担当者に恨まれないように使ってほしい。」と彼も言っているように確信犯なのだが、実は偏差値は正規分布に近い分布だときれいに出てくるのだが、ウェブの利用実態は正規分布とは程遠い、いうまでもなくロングテールだ。下図の実例を見て欲しい。これは私が用意した実例。この例ではURL数が多いので、極端な例のように見えるが、中規模以上のサイトではごく一般的なものだと思う。

そして、この実例で偏差値をつけて、その分布を表すと下図のようになる。ご覧の通り殆んどが48.5~50の間にダンゴ状態にならんでしまう。これは上位50だけのランキングから作成したので、フルランキングから作るともっと目も当てられないものになってしまう。


菅原さんが紹介したエクセルのテンプレートでは、URL別のページビューランキングの横に偏差値を付けいるものが紹介されている。偏差値50(平均)以上以下は分かるが、偏差値60あるいは48にどれ程の意味があるかとなると、実践上ではどうにも使えない。勿論統計的な処理を行うことで、もっともらしく説明できるというメリットは否定しない(むしろまだまだこういう面が重要かもしれないので、菅原さんは紹介したのだろう)。

実はこのヒストグラムも、本当はやっていけない方法を使っているのをご存知だろうか。それぞれの間隔が違うので、本当は全て0.5刻みなら統一しないといけない。まあまともにやるとグラフにならないし、右半分はそうなっているので、いわゆる統計でウソをつく方法を使いごまかしたかった訳ではない。ただ簡単に統計でもっともらしく「説得」する例はいくらでもあるので、騙されることのないように。































関連リンク:

直帰率が低いと、コンバージョンは高くなるか
アクセス解析の直帰率、米サイトタイプ別平均値は?
リンクでしか辿れないページの直帰率が0でない理由は
アクセス解析における月次トレンド・データの見方
米ウェブページ1ページ平均の閲覧時間は55秒
メールでの問い合わせに対する平均反応時間は19時間31分
アクセス解析における「ヒット数」「インプレッション数」とは、WAAの定義集から
アクセス解析における「コンバージョン率」とは、WAAの定義集から
アクセス解析における「コンバージョン(数)」とは、WAAの定義集から
アクセス解析における「一訪問あたりのページビュー数」とは、WAAの定義集から
アクセス解析における「直帰数」「直帰率」とは、WAAの定義集から
アクセス解析における「ページ離脱率」とは、WAAの定義集から
アクセス解析における「一人あたりの訪問回数」とは、WAAの定義集から
アクセス解析における「リーセンシー」「フリークエンシー」とは、WAAの定義集から
アクセス解析における「リピート訪問者数」とは、WAAの定義集から
アクセス解析における「再訪問者数」とは、WAAの定義集から
アクセス解析における「新規訪問者数」とは、WAAの定義集から
アクセス解析における「クリック数」「クリック率」とは、WAAの定義集から
アクセス解析における「ページ参照元、セッション参照元、訪問者の参照元」とは、WAAの定義集から
アクセス解析における「参照元」とは、WAAの定義集から
アクセス解析における「セッション滞在時間」とは、WAAの定義集から
アクセス解析における「入口ページ」「ランディング・ページ」「出口ページ」とは、WAAの定義集から
アクセス解析における「ユニーク・ビジター数」とは、WAAの定義集から
アクセス解析における「セッション数」とは、WAAの定義集から
アクセス解析における「ページビュー数」とは、WAAの定義集から
アクセス解析における「ページ」とは、WAAの定義集から
サイトタイプ別、プロセス別KPI
ユニークビジター数にこだわるな、参照元別直帰率
アクセス解析で直帰率の平均は意味がない
ページビューはあい変らず最重要指標の一つ
平均の罠2(1日平均)
平均値の罠1
4象限グラフの罠
アクセス解析では偏差値は使わない方がよい

1 件のコメント:

ひでき さんのコメント...

この分布はまさにべき分布ですね。