前稿で申し上げた通り、先生方の頭の中にある教科観や学習観は、授業のあり方と考査の作り（内容、配点、採点方法）の双方に表れます。
考査問題の現物を眼前に広げ、データも使って客観視した上で、個々の問題が何を測定しているのか改めて考え、測るべき学力を正しく点数に反映できる考査に近づけて行くことは、教科観／学力観の更新、ひいては授業の改善にも直結する、最も効率的な活動のひとつです。
生きて働く知識・技能、思考・判断・表現力を測定する定期考査というモノサシに、もし歪みが生じていたら、生徒一人ひとりの学力形成上の課題は正しく特定できず、今後の指導を計画するにも判断を誤るリスクを抱えるとお考え下さい。
2015/03/05 公開の記事を再アップデートしました。
旧タイトル：考査問題の妥当性評価（その２）
❏ 出口で求められる学力を考査が正しく測定しているか
学力の三要素のうち、テストでカバーできるのは、言うまでもなく「知識・技能」と「思考・判断・表現」の一部に限られます。
主体性・協働性・多様性の測定は、ルーブリックなどを用いた行動評価が必要ですし、学習を通じた生徒の意識の変化や自己認識については、アンケートなどの手法を用いて把握することになります。
テストで試す「知識・技能」についても、活用を想定しない「丸暗記」 で済むような形でその有無を試しているばかりでは、それらが「生きて働いているか」は確かめられません。
新課程の下での学習指導に求められるのとは異なるタイプの学力を測定してしまっていることになります。生徒はテストに合わせて勉強しますので、誤った方向に学習者を導いている可能性が大だと思います。
モノサシは、測りたいところにきちんと当てなければなりませんし、モノサシそのものが精度を保っているか確かめる必要があるはずです。
❏ まずは、考査と模試の相関をとって確かめてみる
求められる学力を正しく測っているかどうかを確認するには、様々なやり方がありますが、最も簡便な方法のひとつは、考査得点と模擬試験や外部検定などの結果との相関をとってみることです。
本来は、共通テストの結果や出願先大学での得点開示の結果と照らすべきでしょうが、これらのデータは最終出口でしか得られず、定期考査とは実施時期に大きなずれがあります。
その間の生徒の頑張りや先生方の指導の成果が相関に影響を与えてしまうので、得点相関はできるだけ実施時期の近いテストの間で取りたいもの。となると、如上の「ターゲットとすべきテスト」に似せて作られている模擬試験で代替するのが現実的ということです。
上の散布図は、横軸に校内実テの得点、縦軸にセンターの自己採点結果を配して作ったものです（ちなみに作成の目的は、校内実テの性能評価と、実テ以降の成績伸長者／停滞者の抽出です）が、これと同じように横軸を定期考査の点数、縦軸を模試などの成績にした散布図を作成すれば、ここでの目的に沿ったグラフが得られます。
Microsoft Excelのスプレッドシートに、表の１列目に前者のデータ、２列目に後者のデータを配置しておけば、あとは「散布図」を選んでグラフを挿入するだけでＯＫ。右クリックで近似線も描けますし、必要ならば決定係数も表示できます。相関係数が欲しければcorrel関数ですね。
なお、総合点ではそれなりの相関が出ていても、大問ごとに相関係数を算出してみると、高相関の問題と低相関の問題とが混在していることがしばしばです。怪しいと気になった問題が見つかったときは、少々手間が掛かりますが、ちょっと確かめてみるようにしましょう。
❏ データを使って、出題改善の効率化を図る
考査と模試の相関をとる作業自体はそれほどヘビーなものではありませんし、解析に用いるデータはもともとしっかりと収集し整えておくべきものですので、追加すべき工数は最小限で済むはずです。
ルーチン化して作業に習熟すれば、それこそ増える作業時間は１回の定期考査あたり、ものの１０分、１５分といったところだと思います。
出てきたデータ／グラフを見て、「おや、これは何かおかしいぞ」となったときに、出題内容や採点方式を再点検してみましょう。
データを起点にすることで、「改善のための協議」も自己目的化させずに、的を絞った点検と協議が効率的に進められると思います。
定期考査の点数の出方をちゃんと点検しておかないと、考査の妥当性を維持・向上させるきっかけを失います。結果的に生徒の学力を伸ばしきれなくなるかもしれませんし、学力形成上の問題点の検知が遅れれば、その分、後でのケアにより大きな時間を要することになります。
データをいじるだけで考査問題の出題改善が図れるわけではありませんが、改めるべき箇所に当たりがつけば、後の作業も無駄を減らせます。
❏ 相関を下げる「主眼のズレ」と「ノイズの介在」
上のグラフで使ったデータの相関係数は0.7を超えており、かなり正確に出口学力を予想できるテストであったと言えます。一般的にはもっと低いことが多く、ときには無相関の検定ではじかれるケースもあります。
前述のように、測っているもの自体がズレていることが低相関の原因となっているケースもあれば、作問作業の工程の不備が余計なノイズを取り込んでしまい、相関を下げていることもあります。
前者を防ぐには、「出題研究を通して”問い方”を学ぶ」ことが欠かせませんが、後者については作問作業そのものの見直しが必要です。
下図は、考査問題などを作成するときの手順を模式的に表示したものです。普通は、青い点線を辿っているのではないでしょうか。
青線に添って直線的に作業工程を進めるだけでは、ノイズとなる要素が介在していることにも気づきにくくなります。
オレンジ色の線に沿って幾度も前工程に立ち戻りながら進めていく方法は、一見すると面倒にお感じになるかもしれませんが、考査の妥当性を高める（＝生徒がその時点で持っている学力を、正確に得点に換算できる問題を作る）ためには欠かせないものです。
採点基準を起こしながら模範解答を書き改めたり、配点を調整したりします。模範解答をポンっと提示するよりも、採点基準ありきで、それを満たし得る解答例を示した方が学習者にとってはるかに有益です。
自己答案を評価し、朱入れするにも、模範解答との異同だけに着目するより、基準との適合を確かめた方が、答案への深い向き合いができるはずです。
また、解説を起草しようとする中で、どうしても誤答を排除できないことがわかれば、設問や選択肢の修正も機を失わずに行えます。
次稿「設問ごとに出題の妥当性を確かめる」に続く。
このシリーズのインデックスに戻る。
教育実践研究オフィスＦ 代表 鍋島史一