わさっきhb

大学(教育研究)とか ,親馬鹿とか,和歌山とか,とか,とか.

全国学力テストの問題を非公開にできるか

見直そう、テストを支える基本の技術と教育

見直そう、テストを支える基本の技術と教育

学力「テスト」を混同しないこと - 今日行く審議会@はてなで知り,書店で購入しました.当雑記と違って,「従来の全国学力テストはここが問題だ!」なんて指摘はしていません.理性的・体系的に,手法が取りまとめられており,好感を持って読み通しました.
全国規模の学力テストの位置づけやあり方を知るには,第5章の先頭,pp.49-52から読み始めるのがいいでしょう.各章は,はじめに数ページの解説,そしていくつかのQ&Aで構成されています.

そのほか,抽出方式をとることによって,経年変化を負うことがやりやすくなるということもあります.経年変化をとるのは,まったく同一問題を毎年実施しなければならないという誤解もありますが,これも解決できます(第3章参照).…
(p.52)

第参照を3章しますか.冗談はさておき.

…同一の問題を異なる時期で繰り返し出題して,その問題に対する受検者の正答率や繰り返し出題された問題群での点数の経年変化を見ることに意味があります.…同じ問題項目を異なる受検者群に受検させ,両者の結果を比較する,という考え方は重要です.そして,共通問題項目は原則公開しないことが学力の“ものさし”を作る上で必要です(第6章参照).
(p.31)

第6章までは引用しません.章題の「日本の学力調査と欧米のアセスメント」から,十分推測ができます.
さて読み終えた上で,過去に書いた件を,再検討してみました.

テスト問題を公表しないことを前提として実施するとして,その問題点,あるいは実施の障害になりそうな点が指摘・共有されないのに,「時間比較を取り入れるか否か」を迫るのは,不適切です.
問題を公表しないことのデメリットについて,想像できるところを挙げておくと,「解いた児童生徒が覚えて,塾などで情報収集が図られ,結局公表される(またはその塾などで過去問を知った児童生徒が有利になる)可能性がある」「本人は解いた問題を復習できず,問いから学べない」「教員や学校で,教育指導の向上が図りにくい」「問題を公表せずに結果(平均正答率などの統計情報,もしかしたら順位も)だけ出すのでは,保護者や住民,教育に深い関心を持つ人々が,納得できない」あたりがあります.それぞれ,容易に反駁できるかもしれませんし,対処法もあるのかもしれません.ちなみに最初の項目は,情報セキュリティで学んできたことが根底にあります.2番目以降は,暇があれば自分自身の手で反論してみたいと考えているくらい,些末なことです.
空間比較と時間比較の両立を目指すというアプローチも,当然考えられます.問題の公表も,all or nothingではなく,一部だけとするなど,TIMSSやPISA,NAEPを参考にしながら,検討する余地があるのでは…というのは,一晩経ったから調べて書くことができるのであって,事業仕分けの現場とは違う論理ですね.

学力テストの事業仕分け - わさっき

今見直してみると,ずいぶんとノイズの多い記述ですので,論点を絞ります.全国学力テストの問題・解答を非公開とし,後年のテストで使用され得る環境において,解いた児童生徒が覚えて,塾などで情報収集が図られ,公表されるのと同じになるのではないかという懸念です.
もう少し具体的に,情報収集の方法を考えてみます.前提として,全国学力テストの実施においては,問題用紙・解答用紙は回収され,教員や児童生徒の手に残らないものとします.また教員は秘密を保持し,外部に情報を漏らさないものとします.
しかし児童生徒にまで,情報を漏らすなということは,教育上の見地から,できるものではありません.ここに上記引用の「本人は解いた問題を復習できず,問いから学べない」をもってきます.文脈としては,「問題用紙が回収されたなら,問いから学べない」なのですが,実はそんなことはありません.テスト終了後に“反省会”をすればいいのです.将棋で言う,感想戦です.
ここで昔話を書きます.中学生のとき,堺市内のプロ棋士による将棋教室に通っていました.20〜30分くらいで1局指して,勝負がついてから,ときには最初の状態から一手一手指していき,感想戦をすることがありました.NHK教育の昼前の番組*1で,放送終わりまで時間がけっこうあるときに,最初の状態に並べてぱちぱちがやがややっている,あれです.
あれ,プロでなくてもできるのです.中学生のときの自分の棋力は,その教室の中では結局初段にはいかず,なんだったかの将棋雑誌で,往復はがきで解答してポイントを取って,初段を申請しました*2
短期記憶として,ああ指されたので自分はこうしたというのが思い出せますし,将棋は2人でするものなので一方が忘れたらもう一方が指摘していきます.中盤の要所や,ここが悪手だったというのも,再現する中で確認していました.特に棋譜をとっていなかったので,次の対局に集中しているときには大部分を忘れますが,好手や敗着については,そのときの感情と合わせて,もうしばらく残っていたものです.
非公開型の学力テストに話を戻すと,こうです.試験が終わってからの休み時間に,教科書やノートを開いて,紛らわしい問題を見直すのです.全国学力テストのA問題については,それで正解不正解が分かるものもあるでしょう.B問題については,覚えている限りで問題と自分の解き方をノートにメモし,塾の先生または家庭教師に尋ね,教えてもらうのです.
その一方で,塾や家庭教師の業者も,非公開の学力テストの問題がどうだったか,知りたいものです.『公立中高一貫校の適性検査が,PISAの試験問題と類似している』というのを,過去に書きました*3.受験に限らず,(全国学力テストの場合は国レベルで)何を問いかけどんな解答を期待しているのかを探るには,問題が非公開なら,解答した児童生徒から聞くのが手っ取り早いのです.
そうすると次に連想するのは,情報セキュリティで言う「結託」や,人文学における史料の特定作業*4です.塾・家庭教師で,一人の児童生徒から知り得る,設問の情報は少なく,ときには間違いが含まれているかもしれませんが,その情報を集約すれば,おおよそこうだっただろうと推定できるのです.
実際にそれをするには,問題を再現してみせようという意思,言い換えると「悪意」が不可欠です.悪意といっても,塾の教室ごとに,教え子に何番目の問題を覚えさせるか指示するなんてやり方ではありません*5.そんな指示をしなくても,ふだんから「分からなかった問題をそのままにしてはいけませんよ.何でも質問してね」という関係を築いていれば,児童生徒の断片的なメモを先生が見て,問題を推定しますし,それをまた先生の側が記録していれば,集約するとすごいことになりますよねということです.
今までの話は,いわば思考実験です.塾などの受験産業が十分に発達していることを,根拠の一つとしています.「NAEPなんかだと非公開なんだよ,だから全国学力テストも非公開にすればいいんだよ」という主張には,慎重であってほしいと願っています.
また,「項目プール」の概念(p.36, p.71)についても,バラ色の未来だとは思えません.すでにその分野に携わられている方々にはおそらく常識なのかもしれませんが,解答者を介した全体的・部分的な情報漏洩*6への対策や,難易度や識別力を算出するのに必要な問題項目数と解答数の検討そして収集が,必要となりそうです.

*1:http://cgi2.nhk.or.jp/goshogi/shogitou/

*2:それで初段をとったころに,その教室に通っていた同い年の人が二段をとっていた,なんてのも思い出します.

*3:http://d.hatena.ne.jp/takehikom/20090709/1247085649

*4:私自身は,人文学の研究者の営みを十分に理解しているわけではありませんが,ディジタルアーカイブを研究テーマの一つとしていることもあって,その分野の論文を頂戴し,目にすることがあります.10ページ前後の論文であっても,完成のためにどれだけ努力をされてきたかが,十分に想像できます.

*5:もしそんなことをすれば,どこかからばれて,社会問題になります.

*6:全体的な情報漏洩は,問題文の丸ごとコピーを,部分的な情報漏洩は,類題が推測できることを表します.『受験対策をされない問題項目が望まれます』(p.36)に関して,どのように解決すればいいんでしょうね.データベースやセキュリティといった技術面だけでは,うまくいきそうにないのですが.