アクセス解析（Web Analytics）の4種のKPIの落とし穴

Avinash Kaushikのブログから。

http://www.kaushik.net/avinash/2009/02/insights-web-analytics-kpi-measurement-techniques.html

自分の授業でも、アクセス解析という以前のデータの取り扱い方の原則のところで教えていることと似ている。彼のブログは例示や詳細な説明をするので、長文で個人的には難儀で嫌いなのですが、内容はよいので、我慢して読むと知見が得られることも多いのでお薦め。（　）内は彼の意見でなく、私の追加コメント。KPIについては、Eric T. PetersonのThe Big Book of Key Performance Indicatorsも紹介しており、彼は最初部分で当然下記のような話は抑えていた。

非常に簡単にまとめると、KPIは以下の4種類に大別できる。

・平均

・パーセント

・割合（Ratio）

・複合指標（Compound Metrics）

（で、問題はこの単純な指標の使い方にいろいろな落とし穴があるという点。いわれてみると当たり前で何の印象も残らないでしょうが、これで失敗したことがある人は、必ずこの裏にある問題も見過ごすことがなくなるという非常に重要な視点。）

・平均の問題

セグメント化して見ないと何にも使えないので、サイト全体の平均とかを指標にしてもあまり使えないというのが一つ。どういうばらつきをしているのか（分散）が分かった上で使わないと、イメージと全く違う判断をしてしまうというのが二つ目。（セグメント化については、平均や下記％の問題ではなく、数値を扱うときの共通の課題と私は考えている）

・％の問題

％と絶対値の両方を見ないと危ないというのが一つ目。件数10件のうち1件で10％なんてデータは真剣にみても仕方ない。こちらもセグメント化して分解して見ようというのが二つ目。％データでなく、Google Website Optimizerのように統計的な幅をもってみようというのが三つ目。（いやあ個人的にはアクセス・データはテストのようなサンプル・データでなはないので、統計的有意はあまり意味ないんじゃないかと思うけど、どの程度のボリュームで最大サンプリング誤差が発生するのかくらいの知識はあった方がよいでしょう。私の授業では統計式は一切出さず、5*5のマトリクスのサンプリング誤差表を手元に置きましょうくらいしか言いません。それで十分）

・比率（Ratio）
％と絶対値の両方を見ようというのが一つ目。ある値が「望ましい」目標であるというルールにする誘惑に負けるなというのが二つ目。例えば1.2を目指しましょうなどというコンサルタントの事を信用して突き進んではいけないという話。
（ここでは％と似ているが100％を超えるというものも含めてこういう（例えば一人当たりPV数とか）表現をするようだ（2：1といった表現もどちらかを分母にすれば％になるし）が、個人的には％と本質的には同じと思っている。どちらも分母と分子があるので。なので彼の二つ目のコメントは苦し紛れに見える。後者の話は比率の話題ではなく、私の言葉で言うところのベンチマークの問題。何をベンチマークに於いて目標するのが大事かという話だと思っている）

・複合指標（Compound Metrics）
ここは例えば、Visit Depth Indexというものを、新規訪問者のセッション割合と、1セッションあたりの平均PV数で計算するようなものを想定している。（現場ではあまり複雑な指標は使わないと思うんだが、Eric Petersonが最近提唱しているEngagementの計測指標を意識しているのではないか。）

以下の3点が問題点。

Uno. Take them with a grain of salt (or a truck full of salt).

Dos. Degrade to key “critical few” components.

Tres. Revisit and revalidate.

（うーん何とも簡単に訳しにくいが、そもそもKPIは単純で誰でも、上がった下がったで解釈にブレがないようなものを作るというのが原則なので、複雑な指標を作っても、具体的にどうしたらよいのかという行動に繋がらないということに尽きるのではないかなと）