同じことを尋ねたつもりでも…(学校評価アンケート)

学校評価に限りませんが、アンケートの質問文を考えるときに大切なことは、尋ねる側が意図するところを回答者が正しくイメージしてくれるかどうかです。同じことを尋ねたつもりでも、ちょっとした文言の違いから回答の分布がまったく違ってしまいます。

2016/10/18 公開の記事をアップデートしました。

❏ 自分のことについて?クラス全体のこと?
例えば、生徒に自分のことやHRの様子を答えてもらうアンケートで、以下のような質問文を設けることがあります。

質問 A 担任の先生が生徒にどんな行動を期待しているか、はっきり理解できる。(「よく当てはまる」~「あてはまらない」)

ちなみに、担任の先生がはっきりと期待する行動を示せているクラスと不十分なクラスとでは、個々の生徒の行動にも集団の在り方にも大きな違いが生じます。
これに対して、一見すると似たような文言で構成される以下のような質問文があったとします。(実際にある学校で使っていた質問です)

質問 B 担任の先生が自分に期待していることが明確である。

アンケートを行う側の意識としては、同じことを聞いているのでしょうが、ご想像の通り、両者の回答分布はまったく違ったものになります。
同じ学校で同時に2つの質問に答えてもらったデータは手元にはありませんので、正確な比較はできないことを覚悟の上で、成り立ちがわりと近い学校での回答データと照らし合わせて比べてみました。
尋ねた方で回答に違い_20161018065229.png右の箱ひげ図(四分位図)は、その結果をクラス別集計値の分布を用いて表示したものです。
見ての通り、箱の位置が重ならないほどの大きな違いが生じています。なお、縦軸の数値は5択の回答を得点に換算したもので、肯定的な回答が9割を占めると、換算得点は概ね75ポイントとなります。
❏ 回答の分布に違いを生じた原因を考えてみると
当オフィスで「標準的な質問」としてご提示させていいただいている質問Aを採用している場合、学校間でデータを比較してみても、これほど大きな違いが観測されることはありません。
集計結果の違いは、質問文のあり方によるものと考えるべきです。
質問Aでは、「生徒」 という集団に対して先生が抱いている期待、つまりは「目指したいクラス、望ましい生徒像」にフォーカスが当たるのに対して、質問Bでは「先生と自分という一対一の関係性」 の中で答えを選ばなければなりません。
また、質問Aの「どんな行動を期待しているか」 と質問Bの「期待していること」 の部分でも、受け取り方には違いが生じるはずです。
質問Bを採択した学校では、実際にはHR経営上の問題を抱えていない(=質問Aなら高い評価を得ていた)可能性があるのに、質問の仕方の拙さで、あたかも大いに問題ありとの誤認識を与えてしまいました。
質問文は、複雑にすればするほどわかりにくさが増すので簡素なほど好ましいのですが、フォーカスがずれることのないように最小限の情報はきちんと組み込む必要があります。
❏ 二つのことを同時に訊かれては、答えに窮する
質問文の起草における「よくある失敗」には、如上のパターン以外にも「2つ以上のことを同時に聞いてしまう」というものがあります。
例えば、「部活動や生徒会活動で顧問の先生は…」と聞いてしまうと、部活動に対する評価と生徒会活動による評価が一致する場合以外は、どちらにフォーカスして答えれば良いか窮します。
学校行事について「教育的意図が明確で、生徒は主体的に取り組んでいる」という効き方では、「意図はわかるけど、お仕着せだよね」という場合にYESで答えるべきか、NOと答えるべきか悩みますよね。
いじめの有無などを尋ねる時も、期間を定めず「○○されたことがある」と聞いた場合、半年前に発生し既に解決した状況と、今もなお悩みの種となっていることが混同され、データにはノイズが混ざります。
アンケートは、目標の達成検証や改善課題の形成のための判断材料を得るために行うものである以上、回答者が迷わず本当のところを答えに選べるかどうか、質問文をひとつひとつ丁寧に点検する必要があります。


実施直前になって質問用紙を整えようとすると、どうしても前年度のものを十分な点検することなしに流用してしまうことが多くなります。
学校が独自に作成し、以前から実施していたアンケートの質問文検討を依頼されることが少なくありませんが、こうした問題を抱えるケースは思いのほか多いように感じています。
中には、学校が新たに取り組みをはじめ相当なエネルギーを投じているのに、学校評価アンケートにはそれを尋ねる項目がどこにも見当たらないようなこともあります。
年度替わりには、今年の学校経営/教育活動では何を目指すのかを明確にした上で、評価規準となる質問文の練り上げにもじっくり取り組む必要があるのではないでしょうか。
相手に合わせて質問もアレンジ」に続く。

このシリーズのインデックスに戻る。

教育実践研究オフィスF 代表 鍋島史一

この記事へのトラックバック

学校評価アンケートの質問設計Excerpt: 多くの学校で実施されている学校評価アンケート。学校行事が一巡するとともに、来年度の教育活動の計画づくりに着手するこの11月から年末にかけてが実施のピークのひとつのようです。
Weblog: 現場で頑張る先生方を応援します!
racked: 2016-10-21 06:01:49
学校評価、学校広報Excerpt: 1 学校評価アンケートをどう活用するか1.0 学校評価アンケートをどう活用するか(序) 1.1 学校評価アンケートをどう活用するか(その1) 1.2 学校評価アンケートをどう活用するか(その2) 1.3 学校評価アンケートをどう活用するか(その3) 1.4 学校評価アンケートをどう活用するか(その4) 2 学校評価アンケートの質問設計で注意すべきこと2.1 学校評価アンケートの質問設計 2.2 同じことを尋ねたつもりでも…(学校評価アンケート) 2.3 相手に合わせて質問もア...
Weblog: 現場で頑張る先生方を応援します!
racked: 2017-01-18 08:25:41
建学の精神/教育目標に照らした行動評価Excerpt: 学校には建学の精神や教育目標がありますが、生徒一人ひとりが自身の行動の中にどのくらい実現できたかは、教育活動の成果を測り、改善に向けた計画を立てる上でも欠かせないことの一つです。
Weblog: 現場で頑張る先生方を応援します!
racked: 2017-05-11 07:47:48
学校評価アンケートをどう活用するか #INDEXExcerpt: 学校評価アンケートは、一義的には、自校が展開してきた教育活動に、ステークホルダの理解と共感・支持が得られているかどうか確かめて、改善に向けた課題形成を図り、その効果を検証するために行うものですが、担う役割はこれに止まりません。学校の教育意図がきちんと伝わっているかを確かめること答えてもらうことで学校の取り組みをより良く知ってもらうこと個々の指導の効果を確かめ、教育リソースの最適配分を図ること自校の取り組みを客観的に捉えて、進むべき方向を見極めることといった機能まで十分に生かしてこそ、より良...
Weblog: 現場で頑張る先生方を応援します!
racked: 2018-05-29 05:38:30
学校評価アンケート~質問設計の協議で校是の確認Excerpt: 学校評価アンケートは、主だった学校行事が終わる年度後半での実施が普通ですが、どんな評価項目を立て、どんな質問文で訊くかはできるだけ早い時期に検討を進め、教職員への周知を図るべきです。
Weblog: 現場で頑張る先生方を応援します!
racked: 2019-05-28 05:16:13