考査問題の妥当性を評価し、最適化を図ることの重要性は以前の記事でも書いた通りですが、たとえ同じ問題であっても、どんな学力層の生徒に与えるかで「良問」にも「悪問」にもなり得ます。
新しい学力観に沿った問題、出題研究の成果を存分に活かした問題でも実際にテストを受ける生徒(被験者)の学力とマッチしていないことがあります。課すべきか否か慎重な判断が必要ですが、先ずは個々の設問がどの学力層に合っているのか、見極めるだけの材料を整えましょう。
2017/11/02 公開の記事をアップデートしました。
❏ 成績層別に設問ごとの正答率を算出してみる
テストを受けた生徒をいくつかの成績層に分けて、設問ごとの正答率や採点基準の充足率をそれぞれについて算出してみると、その問題/基準がどの学力層に対して「識別力」を発揮するかがわかります。
下図は、客観式の【設問あ】、【設問い】、記述式で3つの正解要件を持つ【設問う】をサンプルに、生徒を4群(上位群~下位群)に分けて作成してみた、正答率/正解要件充足率の比較グラフです。
【設問あ】は、受験者全体の正答率では2割台に止まり、不用意に考えると「難し過ぎる問題」と考えられ、出題を控えてしまいそうですが、よく見ると中位群上位と上位群の間で高い識別力を発揮しています。
成績が「中の上」に止まっている生徒が力を伸ばして上位群に加わるには、この問題を解けるようになるのが要件ということ。振り返りの材料を与えるにも、一定の割合で出題に含むべきものだと思います。
【設問い】は、成績下位者でも7割近くが正答しており、クラス全体に課すには、易し過ぎると思われますが、下位層を対象とした補習などでの確認やウォーミングアップに使うには適切な問題かもしれません。
【設問う】は、中位群の中での上位/下位を分ける学力要素を含んでいると考えられそうです。特に採点基準のうち、要件2や要件3が満たせるかどうかは、平均に届かない生徒にとっての「壁」のひとつです。
一定の頻度でこうした問題を課し、振り返りの中で「今後の学習の中で満たしていくべきもの」を生徒に自覚させることは、成績伸長の停滞を防ぐ上でも大切かつ必要なことだと思います。
ちなみに、上位層と下位層で正答率に差がなかったり、逆転が起きていたりする(=識別指数が十分に大きな値にならない)場合、問いの内容や設定に誤りが含まれている可能性が高いはずです。
❏ 設問毎の正誤情報があればグラフ作成は容易
成績層の区分けは、その問題を含む考査の総合点で行うこともできますが、直近に行った模擬試験やなどの結果を用いるのも好適です。
考査問題が測定している学力が、出口(進路など)で求められるものと乖離していては、区分け自体が妥当性を欠いてしまい、それに基づいて行う個々の問題の合理性評価も、歪みを含んだものになりかねません。
デジタル採点システムの導入も進んできていますので、個々の設問の正誤情報を取得するのも、以前に比べてはるかに容易になりました。
その採点データ(個々の生徒の設問ごとの正誤や、部分点などの情報)と、如上の基準で区分けしておいた「成績層の区分データ」を関連付ける(=ルックアップを設定する)ことで、解析の準備は整います。
あとはピボットテーブルを使ったり、関数を設定したりすれば、如上のサンプルのような出力も容易に手に入るはずです。別稿でもご紹介した様々な「出題評価の手法」を試すのもそれほど難しくはないかと。
改めて申し上げるまでもありませんが、成績集計において総合点しか記録されていないようでは、こうした解析は不可能。どの問題が、どんな学力の生徒に課すのに相応しいかを知るチャンスは得られません。
すべての設問、あるいは毎回の考査で行うには負担が大きすぎますが、こだわりを持って指導してきたことを試す設問に絞って行ってみるところから始めてみるのは如何でしょうか。
手間の分の価値は十分にあるはずです。様々な成績層の生徒に対して、どこに力点を置いて指導をすればよいのか、もう一段の学力伸長を図るために何を大切にするべきか、貴重なヒントが得られると思います。
❏ 先ずは出題研究を通した学力観の更新からスタート
本稿でご紹介した方法などで、個々の設問が、被験者たる生徒の学力層にマッチしているかどうかを確かめると同時に、新しい学力観に沿ったものを測定しているかどうかの点検も怠ることはできません。
古いタイプの(教えられたことを覚えて答案上に再現できれば丸と点数がもらえる)問題ばかりが並んでいたとしたら、これからの社会を生き抜くのに必要な力を測っていないことになります。
記憶再現型の問題に対しても、成績上位者は「覚える力」も高い傾向があり、他の生徒以上に上手く対応できるため、如上の解析を行っても、異常な値がどこにも検出されないことがあります。
目標学力(=指導を終えたときできるようにさせたい事柄、獲得させたいコンピテンシー)への接近状況を的確に測定できないような問題はできるだけ課さないようにしたいところ。日々の出題研究を通し、学力観の更新を怠らないようにしましょう。
採点結果を見て、何がどこまでできるようになったか、次は何ができるように頑張る/何をどのように学んでいくべきかを、生徒と先生の双方が把握できることは、すべてのテストが満たすべき要件です。
参考書や問題集にはたいてい載っていても、実際の入試でとんと見かけなくなっているものもあります。そんな問題を考査に含めても仕方ありません。参考書や問題集の執筆者が、無意識に旧い学力像やテスト観を引きずっていないとも限らず、特に出版から時間が経っているものは、たとえ改訂を重ねていても十分な注意が必要かと思います。
■関連記事:
教育実践研究オフィスF 代表 鍋島史一