選考基準は妥当だったのか~追跡調査に基づく検証

入学試験で志願者の合否を決めるときだけでなく、指定校推薦の内部選考、成果発表会の代表者選びなど、学校が「生徒の選考」を行う機会は実に様々ですが、もし選考の基準が妥当なものでなければ、

  • 機会を与えられるべき生徒が選考から漏れてしまう
  • 選考結果から他の生徒が受け取るメッセージが歪む(選ばれるための努力の方向を誤って伝える、相互啓発にノイズが混ざる)

といった問題が生じやすいもの。しかしながら、教育活動の内容や方法についての議論に比べ、そこに参加させる段階でのフィルター(選考基準)の妥当性について議論がなされることは少ないように思います。
選考が、公平性や透明性をもって行われるべきであるのは当然として、選考の基準自体が妥当なものかを「その後のパフォーマンスを正しく予想する性能」という観点で常に点検すべきであると考えます。追跡調査は、予測的妥当性(predictive validity)を担保するのに不可欠です。

❏ 選考通過者のパフォーマンスを追跡&記録

言うまでもなく、選抜されたメンバーが「その後の活動」において期待通りのパフォーマンスを発揮したかどうかが、選考基準の妥当性を判断するときの観点です。
ここでいうパフォーマンスは、残した成果の良否だけでなく、活動への意欲的な取り組みや、活動を通した成長の度合いなども含まれます。
選考通過者の一人ひとりが、活動期間を通してどんな結果を残し、どう取り組んでいたかをきちんと記録に残す必要があるということですが、記録に残すには、まずは評価をしっかり行うことが大前提。
活動のフェイズが進むたびに、生徒が残したもの(アウトプット)や活動への取り組みをきちんとした基準(採点基準やルーブリック)に照らして評価する仕組みと体制が整っていないと、その前提が崩れます。
また、「活動を通した成長の度合い」は、同じ生徒を、活動の開始時と終了時に観察した結果を突き合わせて把握することになりますので、最初と最後(加えて中間)などに評価機会を設ける必要があるはずです。

❏ 選考に際しての評価を、観点ごとに分割して数値化

前段の「追跡と記録」により、回帰分析でいうところの「目的変数(従属変数)」に相当するデータが得られます。一方、「説明変数(独立変数)」は、選考時の評価結果を分解することで用意しましょう。
入学者選抜(入試)では「総合点」で合否を決定しますが、合算する前の点数に戻れば、内申点と筆記試験の点数、面接評価などに分かれ、それぞれの中にも、構成要素がいくつも(例えば、知識問題と論述問題の点数、面接評価の観点など)存在しているはずです。
これらの「構成要素ごとの点数」(いわば、評価観点別のスコア)を、上述の「説明変数」とする解析を行いましょう、という話です。
入学試験問題は、入学後の学業に支障なくついてこられるかを確かめるために課しているはず。ある設問(群)の正誤が、入学後に行った考査や模試の成績と相関しない(正解群と不正解/無答群で成績に有意差が観察できない)のなら、その問題は「選抜に不要」だったかも。
選考において、筆記試験とならぶ材料と位置づけられる「志望理由書」でも、入学後に観察された学びへの取り組みとの相関が読み取れないような評価の観点は、設ける必要がなかった可能性が高そうです。

❏ 選考時の記録と後日のパフォーマンスを解析するには

選考に際して設けていた観点や基準が妥当なものだったか(=選考後のパフォーマンスを正しく予想したか)を確かめる手法(統計解析)には様々なものがありますが、よく用いるのは以下のようなところです。

  • 2つのグループにおける平均値に有意差があるかを調べるt検定
  • 複数の説明変数が存在するとき、それぞれの寄与度の大きさを推定する重回帰分析

t検定による有意差の検定は、生徒も探究活動などで頻用しますので、そのご指導に当たる先生方にもなじみ深いものかと思います。
重回帰分析は、専門的な手法ですが、エクセルに実装の「分析ツール」でも可能であり、わざわざ統計ソフトを購入する必要はありません。詳細はこちらに譲りますが、操作そのものは比較的シンプルです。
解析の結果、こうした学習歴を備えている生徒の方が高いパフォーマンスを備える、知識問題の正誤よりも、学習型問題での得点の方が、入学後の学び方への影響が大きいといった示唆が得られたりします。
選考基準の各点数に対し、重回帰分析で算出された回帰係数を「各変数に対する係数」に設定すれば、「傾斜配点」の合理化も図れます。
なお、解析を行い、偏回帰係数に有意性が確認できない「説明変数」は、以降の選考では基準から外すことも検討しなければなりません。
説明変数を出し入れしても、決定係数(R2)が大きくならない場合、現行の選考基準に欠けている何らかの基準の存在が示唆されます。
これらの手法以外にも、クロス集計表の残差分析や、散布図を描いて近似線との位置関係(回帰残差)に着目する方法などもあります。(それぞれの詳しい所はリンク先[外部サイト]をご参照ください。)

❏ 検証結果を積み上げて、より合理的な選考基準に

選考方法の合理性や妥当性を校内で議論するときに、主観をぶつけ合っても結論は出せません。「大きな声が通る」のでは困ったものです。
選考基準の合理性は、選考後のパフォーマンスを追跡するとともに、選考時の評価結果を要素に切り分けておくことで検証が可能になります。
ある年度に行った選考から、改善の材料をどれだけ引き出せるかは、次年度以降の選考をより合理的なものにします。その結果、選考を通過した生徒に対しては、教育の質的保障(=無理なく成果を積み上げられる教育プログラムの提供)を与えていくことになると考えます。
また、学校は、希望者の中から一部の生徒を選抜した以上、選考基準が合理的かつ妥当なものであったことを示していく必要があるはずです。
手間暇のかかる仕事ではありますが、選考の透明性を高め、公平感を持ってもらうためにも必要な取り組みではないでしょうか。
まずは、本年度(ことし2月)の入試結果と、この1学期の中間+期末考査の点数などを使って、入選の問題が妥当だったか点検しましょう。
■関連記事:

教育実践研究オフィスF 代表 鍋島史一