わさっきhb

大学(教育研究)とか ,親馬鹿とか,和歌山とか,とか,とか.

日本的テスト文化について

 書籍や関連情報を読みまして,「日本的テスト文化」は,テスト方法を他国と比較するのではなく,受験者の行動を比較すべきではないか,と,思うようになりました.

 書影に執筆者が並んでおり,目次を見ても多彩なのが分かります.
 まずは,なじみの著者そして題目ということで,光永悠彦「複数回の共通入試は実施できるのか---公平性を確保する項目反応理論とは」(pp.69-88)に目を通しました.
 はじめのほうの段落に,「日本的テスト文化」という言葉が入っていました.段落ごと書き出します(p.70).

 しかし、これまで共通テストを年複数回実施する案が提起されても、いまだに現実化しません。その背景としては、日本における従来の前提が「年に一度、全国一斉に、同じ問題冊子を用いてテストを実施し、スコアは素点(正答の数)と配点に基づくものとし、出題した問題は実施直後直ちに公開する」といった「日本的テスト文化」(前川 二〇一五)にしばられている点が挙げられます。また共通テストが年複数回行われると、高校がその対策に追われることになる点も指摘されています。

 「前川 二〇一五」の書誌情報は,URL込みでp.88に書かれていました.

 このPDFファイルのp.51からが「【報告1】試験の日本的風土」で,講演者は東京工業大学大学院社会理工学研究科教授の前川眞一氏です.講演と質疑のあと,6upのスライドもついていました.
 講演の途中の「セキュリティの問題が起きるのではないか。」(p.53)を見て,まず,項目プールがごっそり盗まれるという脅威が思い浮かび,その次に,問題非公開の本番のテストやプレテスト*1の出題内容を受験者が断片的に覚えていて,テスト以外の場所(大学入試関連なら高校や塾・予備校)で統合することにより,実際の問題を復元することを,想像しました.
 そういったことについてブログ記事を書いたのは,10年以上前でした.

 この問題意識について,紀要で指摘がなされていました.

  • 石井秀宗: 大学入試における共通テストの複数回実施は実現可能か---日本のテスト文化やこれまで見送られてきた理由などからの検討---, 名古屋高等教育研究, 名古屋大学高等教育研究センター, Vol.18, pp.23-38 (2018). http://doi.org/10.18999/njhe.18.23

 表1(p.26)の「(10) テスト問題を非公開にしても、問題を記憶するアルバイトを雇うなどして、組織的に復元される」の項目です.次のページには「問題を記憶するアルバイトを雇うなどして」と書かれています.もちろんそれも考えられますが,むしろ大学入試の受験生が,解いた問題を振り返る(非公開のテストで,不確かな記憶であっても)ことについて,教育面で,するなと言うわけにいかないのです.
 入試から離れて,情報セキュリティのトピックで,「覚えて取り出すこと」への対策を,一昨年度まで,授業で紹介していました.Feige-Fiat-Shamirの認証プロトコルです*2.証明者と認証者が3回の通信でやりとりする数値を,攻撃者が覚えておいて,リプレイ攻撃に使うという脅威に対して,n=pq(2つの素数の積)を大きくすることで,可能な3つ組を指数的に増やし,覚えておくのを非現実的にすればよい,というのが対策となります.
 日本の全国レベルのテストに話を戻します.念頭にあるのは,大学入試---各大学のテストではなく,今年まで「センター試験」,来年度からは「共通テスト」---と,全国学力テストです.項目反応理論(IRT)を導入するとなると,十分な数の問題(項目)を用意しておく必要があります.この記事の冒頭の本ではp.82に,フィールドテストで「問題数は一〇〇問程度」,本試験は「項目バンク中の一〇〇問からも二〇問程度を共通問題(アンカー問題)として出題する」として,解答の問題数を記載していますが,項目バンクの規模については明言されていません.
 原則非公開(公開するのは今後テストで使用しないとき)を前提としても,十分な数の項目(問題)を用意できるか,そして問題ごとの解答者数はどうなのか---少ないとIRTの推定値が信頼できず,多いと外部で復元されやすくなる---について,引き続き情報を収集するとともに,小規模ながら担当授業で学生に解答してもらっている,古典的テスト理論と項目反応理論に基づく各テストも振り返りながら,自分なりに考えていくことにします.

*1:PDFのp.52には「それから、新作問題のみでの試験の実施にかんしてみ、プリテストとかフィールドテストとか言われているもの、前もって試験問題をどこかで試して良い問題だけを本番で使うという作業は、不公平だと思われている。」とありました.

*2:wikipedia:en:Feige–Fiat–Shamir_identification_schemeで整理されています.対応する日本語版のwikipedia:Fiat-Shamirヒューリスティックには2乗などがなく,より一般的な枠組みとしてプロトコルが紹介されています.昨年度,暗号プロトコルの授業回で暗号資産を解説し,入れ替わりで,Feige-Fiat-Shamirの認証プロトコルを取り除きました.