計算を増やす前に、どの問いに効くのかを見極める必要があります。やさしい問いと手強い問いを用意し、候補の数と見直しの回数を変えて、正答と待ち時間を記録するところまでを5つの手順に分けます。
正解が決まっている課題を10問用意します。やさしい課題を5問、手強い課題を5問に分けます。正解を機械的に確かめられない課題は、この測定から外します。
1つは答えだけを出す進め方、もう1つは候補を3つ出して1つ選ぶ進め方です。2つに絞るのは、差が出た理由を後から説明しやすくするためです。使うモデルと指示文は、2つの進め方で同じにします。
それぞれの進め方で、10問を続けて解かせます。1問ごとに、正誤と応答までの時間を記録します。時間は、画面の時計ではなく、測った時刻の差として残します。
やさしい5問と手強い5問に分けて、正答の数と時間の中央値を並べます。手強い側だけ改善し、やさしい側が変わらないなら、配分を分ける価値があります。両方とも変わらない場合は、検証の基準が弱い可能性を疑います。
測定の結果から、どの条件で候補を増やすかを決めます。決まりは、判定の条件、候補の数、見直しの回数の3つで書きます。あわせて、1件あたりの待ち時間の上限も決めます。決まりは、次に測ったときの比較の基準になります。