a2iでアクセス解析のテスト問題を作る活動が終了しました [週刊IFWA 2012/3/5]

定期メルマガの巻頭コラムのアーカイブです。メルマガの登録はこちら↓からどうぞ。
http://ibukuro.blogspot.com/2010/07/blog-post_12.html

■ a2iでアクセス解析のテスト問題を作る活動が終了しました

ご存じの方も多いと思いますが、アクセス解析イニシアチブというアクセス解析を普及を推進する団体の事務局を私がやっています。ここで少人数が集まって活動している分科会が幾つかあります。

2011年4月からアクセス解析実力テスト準備委員会を開始して、ようやく集まりとしては最終回を先日迎えました。1年掛けて100問を超えるテスト問題の作成に目処が立ちました。

一番問題作成に苦労したのは、指標の定義などの問題でした。××の意味はどれかといった問題を作ろうとすると、どのツールでどのメニューで表現しているところの「意味」なのかによって、正解が当然違ってくるといったことが起きます。

問題文を作る時も、「一般的に」といった枕詞をつけても、誰がみても「一般的」だという客観的評価軸が存在している訳ではありませんから、問題文の提示としてはあまり宜しくないということがわかりました。

特にレアなケースは上級者であればある程、裏読みできてしまうので、どれも正解はないぞといったフィードバックがありました。それは容易に想像できたのですが、それで選択肢が変わってしまわないような問題にしないと成り立ちません。

指標の活用方法などに関しても、問題を作ってみたのですが、コンサルティングが主観的な活動であるのと同じで、必ずしも正解は一つではないし、絶対間違いだと言い切れる施策もないというところが苦労しました。

素直な中級者が一番点数が高くなるようでもいけませんので、レベルによっても変に考え込まないような問題にしなければいけないということを実感しました。

しかしこうやって大量に問題を作ってみると、如何に限られた問題文や選択肢という方法で、人の理解を評価することが難しいのかがわかりました。当たり前ですが、短時間の試験ではごく一部の評価しかできないということです。失敗の経験を積み重ねて真の実力が付くというものでしょう。

いつどのような形で実際のテスト問題を皆さんに解いて頂くかはまだ未定ですが、その時が来たら楽しんで頂ければと思います。