チュートリアル / リスク・品質
判定役の採点を人の目で検算する：20件で一致率を出すステップ
モデルに採点させると、点数はすぐに出ます。ただし、その点数が自分の求める品質と合っているかは別の問題です。20件の設問で、判定役の点数と人の判定を突き合わせ、食い違いから基準を直すところまでを5つの手順に分けます。
手
手順
設問を20件そろえる
実際に使っている依頼文から20件を選びます。やさしい例ばかりだと一致率が高く出て、判断の弱点が見えません。明らかに出来の悪い例を3〜5件は混ぜます。設問IDを振り、あとで照合できるようにします。
確認ポイント：20件にIDを振ったか採点基準を3段階で書き下す
観点を1つか2つに絞り、5段階の5・3・1の条件を事実で書きます。"読みやすい"ではなく、"1段落に論点が1つだけ入っている"のように、出力を見て数えられる形にします。基準は、判定役に渡す文と、人が使う文で同じものを使います。
確認ポイント：3段階すべてに条件を書いたか判定役に採点させる
20件を同じ指示文で採点させ、点数と理由を記録します。理由を書かせると、点数の根拠が基準に沿っているかを後から確認できます。出力は表計算に貼り、設問IDと並べます。
確認ポイント：20件すべてに点数と理由が入ったか人が同じ基準で採点する
同じ基準を使って、人が20件を採点します。判定役の点数は見ない状態で付けると、引っ張られません。迷った例には印を付け、あとで扱いを決めます。
確認ポイント：20件の人の点数が埋まったか食い違いを数え、基準を直す
一致した件数と、ずれた件数を観点ごとに数えます。ずれが大きい観点から、条件の書き方を見直します。判定役が長い回答を高く付けている場合は、長さの条件を基準に足します。直した基準で、同じ20件をもう一度通します。
確認ポイント：直す前と後の一致件数を並べたか
Q
つまずきポイント
一致率が低く、どこから直せばよいか分からない
まず観点を1つに絞ります。観点が2つ以上あると、どちらが原因か切り分けられません。1観点で一致率を出し、基準の言葉を具体的にしてから、次の観点を足します。
判定役の点数が毎回変わる
設問の言い回しが長いと、判定の焦点がぼけます。判定用の指示では、評価する観点を1つに限定し、出力の引用箇所を示させると安定します。
あわせて読みたい：用語の意味から確認したい場合は 用語一覧、基礎から順に学ぶ場合は チュートリアル「はじめての LLM 活用」、コピーして使える例文は プロンプト集、実際に使う道具は AI ツール一覧 をご覧ください。
AIクローラーの主要運営者
- Yandexクローラー39種
- Googleクローラー32種
- Baiduクローラー10種
- Amazonクローラー8種
- Metaクローラー8種
- OpenAIクローラー6種
- Anthropicクローラー6種
- Microsoftクローラー6種
- ByteDanceクローラー4種
- Mistral AIクローラー3種
- Awarioクローラー3種
- Semrushクローラー3種