同じことを尋ねたつもりでも…(学校評価アンケート)

学校評価に限りませんが、アンケートの質問文を考えるときに大切なことは、「尋ねる側が意図するところ」を回答者が正しく(=歪みなく)イメージしてくれるかどうかです。同じことを尋ねたつもりでも、文言のちょっとした違いから回答の分布がまったく違ってしまいます。

2016/10/18 公開の記事を再アップデートしました。

❏ 自分のことについて?クラス全体のこと?

例えば、生徒に自分のことやHRの様子を答えてもらうアンケートで、以下のような質問文を設けることがあります。

質問 A
担任の先生が生徒にどんな行動を期待しているか、はっきりと理解できる。(「よく当てはまる」~「あてはまらない」)

ちなみに、担任の先生がはっきりと期待する行動を示せているクラスと不十分なクラスとでは、個々の生徒の行動にも集団の在り方にも大きな違いが生じます。(cf. 生徒に期待する行動をはっきり示す
これに対して、一見すると似たような文言で構成されている以下のような質問文があったとします。(実際にある学校で使っていた質問です)

質問B
担任の先生が自分に期待していることが明確である。(選択肢はAと同じ)

アンケートを行う側の意識としては、同じことを聞いているのでしょうが、ご想像の通り、両者の回答分布はまったく違ったものになります。
同じ学校で同時に2つの質問に答えてもらったデータは手元にはありませんので、正確な比較はできないことを覚悟の上で、成り立ちがわりと近い学校での回答データと照らし合わせて比べてみました。

右の箱ひげ図(四分位図)は、その結果をクラス別集計値の分布を用いて表示したものです。
見ての通り、箱が重ならないほど大きな違いが生じています。なお、縦軸の数値は回答(5択)を得点に換算したもので、肯定的な回答が9割を占めた場合の換算得点は概ね75ポイントです。

❏ 回答の分布に違いを生じた原因を考えてみると

当オフィスで「標準的な質問」としてご提示させていいただいている質問Aを採用している場合、学校間でデータを比較してみても、これほど大きな違いが観測されることはありません。
集計結果の違いは、質問文のあり方によるものと考えるべきです。
質問Aでは、「生徒」という集団に対して先生が抱いている期待、つまりは「目指したいクラス、望ましい生徒像」にフォーカスが当たるのに対して、質問Bでは「先生と自分という一対一の関係性」の中で答えを選ばなければなりません。
また、質問Aの「どんな行動を期待しているか」と質問Bの「期待していること」の部分でも、受け取り方には違いが生じるはずです。
質問Bを採択した学校では、実際にはHR経営上の問題を抱えていない(=質問Aなら高い評価を得ていた)可能性があるのに、質問の仕方の拙さで、あたかも大いに問題ありとの誤認識を与えたことになります。
質問文は、複雑にすればするほどわかりにくさが増すため、表現は簡素なほど好ましいのですが、フォーカスがずれることのないように最小限の情報はきちんと組み込む必要があります。

❏ 二つのことを同時に訊かれては、答えに窮する

質問文の起草における「よくある失敗」には、如上のパターン以外にも「2つ以上のことを同時に聞いてしまう」というものがあります。
例えば、「部活動や生徒会活動で顧問の先生は…」と聞いてしまうと、部活動に対する評価と生徒会活動による評価が一致する場合以外は、どちらにフォーカスして答えれば良いか窮します。
学校行事について「教育的意図が明確で、行事に主体的に取り組むことができる」という尋ね方では、「意図はわかるけど、お仕着せだよね」という場合にYESで答えるべきか、NOと答えるべきか悩みます。
いじめの有無などを尋ねるときも、期間を定めず「○○されたことがある」と聞いた場合、半年前に発生し既に解決した状況と、今もなお悩みの種となっていることが混同され、その峻別ができません。
アンケートは、目標の達成検証や改善課題の形成のための判断材料を得るために行うものである以上、回答者が迷わず本当のところを答えに選べるかどうか、質問文をひとつひとつ丁寧に点検する必要があります。

❏ 教育目標に照らしながら、じっくりと質問文を推敲

実施直前になって質問用紙を調えようとすると、どうしても時間に追われて推敲が不十分になったり、前年度のものを十分な点検なしにそのまま流用してしまったりすることが多くなります。
学校が独自に作成し、以前から実施していたアンケートの質問文検討を依頼されることが少なくありませんが、こうした問題を抱えるケースは思いのほか多いように感じています。
中には、学校が新たに取り組みを始め、相当なエネルギーを投じているのに、学校評価アンケートにはそれを尋ねる項目がどこにも見当たらないようなこともあります。
年度替わりには、今年の学校経営/教育活動では何を目指すのかを明確にした上で、「評価規準」にもなり得る個々の質問文の練り上げに、じっくり取り組む必要があります。(cf. 質問設計を通して校是の共有
次稿「相手に合わせて質問もアレンジ」に続く。

このシリーズのインデックスに戻る
教育実践研究オフィスF 代表 鍋島史一

この記事へのトラックバック

学校評価、学校広報Excerpt: 1 学校評価アンケートをどう活用するか1.0 学校評価アンケートをどう活用するか(序) 1.1 学校評価アンケートをどう活用するか(その1) 1.2 学校評価アンケートをどう活用するか(その2) 1.3 学校評価アンケートをどう活用するか(その3) 1.4 学校評価アンケートをどう活用するか(その4) 2 学校評価アンケートの質問設計で注意すべきこと2.1 学校評価アンケートの質問設計 2.2 同じことを尋ねたつもりでも…(学校評価アンケート) 2.3 相手に合わせて質問もア...
Weblog: 現場で頑張る先生方を応援します!
racked: 2017-01-18 08:25:41
建学の精神/教育目標に照らした行動評価Excerpt: 学校には建学の精神や教育目標がありますが、生徒一人ひとりが自身の行動の中にどのくらい実現できたかは、教育活動の成果を測り、改善に向けた計画を立てる上でも欠かせないことの一つです。
Weblog: 現場で頑張る先生方を応援します!
racked: 2017-05-11 07:47:48
学校評価アンケートをどう活用するか #INDEXExcerpt: 学校評価アンケートは、一義的には、自校が展開してきた教育活動に、ステークホルダの理解と共感・支持が得られているかどうか確かめて、改善に向けた課題形成を図り、その効果を検証するために行うものですが、担う役割はこれに止まりません。
Weblog: 現場で頑張る先生方を応援します!
racked: 2018-05-29 05:38:30