PowerPointファイルを見ました.
「項目反応理論に基づくテスト実施の流れ」のスライドですが,「問題案作成」「テストセット作成」「予稿」「本番」と,項目を書いて並べるだけでなく,より詳細な情報があるとよいように思いました.
テスト実施の理想形について,箇条書きにしてみましたので,取捨選択してスライドに記載したり,発表で簡潔に話したりすることを,試みてください.
- 数十問からなるテストセットの作成にあたり,まず行うのは個別の「問題案作成」です.
- ただちに,テストセット作成には進みません.各問題案を複数人でチェックし,不適切な場合(誤字などがある,正解がない,複数の正解が考えられるなど)には,修正してチェックをやり直すか,その問題案を棄却します.
- 個別の問題案の集合として,「テストセット作成」を行います.ある問題が他の問題の解答のヒントになるような組み合わせは避けます.また等化を念頭に置いて,複数のテストセットで共通に出題する問題を設定します.この段階で,以後に使用されない問題案というのも発生します.
- 「予行」として,作成したテストセットを小規模な人数で解かせてみて,項目反応パターンを作成し,Rによる処理(項目反応曲線の作成など)を行い,テストセットが適切かどうかを確認します.不適切な問題があれば,問題案を差し替えて,時間が許せばその修正版で予行を行います.予行の解答者は本運用の解答者と別に手配します.
- 「本運用」として,想定する解答者群に解答してもらい,Rによる統計処理を行います.結果を分析し報告書・論文などに取りまとめます.
上記を説明に使用するのはいいのですが,この実施の流れを作ったことがオリジナリティなのだ,と主張するわけにいきません.むしろこれをベースラインとして,従来の方法の課題を見出し,何を解決したいかを,提案するというのに使うといいでしょう.
それと,情報処理科目の最終回の(成績に入れない)理解度テストの実施では,予行は研究室内の実施にとどまっており,項目反応パターンの作成などは行っていません.
スライドに図と文字列をうまく配置した上で,研究(問題発見・解決)としては,問題案の作成とチェックの支援に,焦点を当てるのがよいのではないかと思います.研究目的の具体化を試みてください.
なにこれ
研究室の大学院生の某ゼミ発表準備に際して,メールを送ったものを,書き換えました.