AIの回答を採点して改善する5ステップ

プロンプトを直す作業は、多くの場合「なんとなく良くなった気がする」で終わってしまいます。本記事では、Learn Prompting が公開しているプロンプトエンジニアリングの教材を参考に、回答を観点ごとに採点して比べる手順を5つのステップに整理します。専用のツールは不要で、表計算ソフトがあれば始められます。

なぜ「測る」工程が必要なのか

生成AIの回答は、同じプロンプトでも毎回わずかに変わります。そのため、1回の結果だけを見て良しあしを決めると、たまたま当たった回答を「改善の成果」と取り違えることがあります。観点と基準を先に決めて複数回試すと、変更が効いたのかどうかを切り分けられます。

Learn Prompting の教材は、基礎から応用まで段階ごとに整理され、その中で出力の信頼性をどう確かめるかが独立したテーマとして扱われています。評価の観点を決める作業は、その考え方を自社の業務に当てはめる作業だと言えます。

手順1：評価する対象を1つに絞る

いま困っている出力を1つだけ選びます。「議事録の要約」「問い合わせへの一次返信の下書き」など、目的がはっきりしたものを選ぶと観点を作りやすくなります。複数の用途を同時に評価しようとすると、基準が混ざって判断できなくなります。

手順2：よしあしの観点を書き出す

「何が書かれていればよいか」を思いつくままに挙げます。事実の正確さ、抜けのなさ、読みやすさ、指定した形式になっているか、余計な断定がないか、などが典型です。まずは10個ほど書き出し、似たものをまとめます。

手順3：観点を3つに絞って基準を文にする

実際に採点に使う観点は3つまでに絞ります。続けられない評価表は使われないためです。それぞれについて「3点＝…、2点＝…、1点＝…」と点数の意味を一文で書きます。ここを言葉にしておくと、担当者が変わっても判断がぶれにくくなります。

手順4：同じプロンプトで複数回試す

同じ入力で3〜5回実行し、毎回採点します。点数がばらつく観点は、基準の書き方があいまいか、タスク自体が曖昧なことを示しています。逆に安定して高い点数が出るなら、その観点はもう見張らなくてよいサインです。実行のたびに温度（temperature）などの設定を変えていないかも確認しておくと、原因の切り分けが容易になります。

手順5：記録して次の一手を決める

プロンプトの版、点数の平均、気づいたことの3つを1行で残します。次に直すのは「いちばん点数の低い観点」に対応する部分だけにします。複数箇所を同時に変えると、どの変更が効いたのか分からなくなります。比較用の画面は ChatGPT のような対話型ツールを2つ並べて使うと進めやすくなります。

観点の例

観点	見るポイント	点数が下がる例
正確さ	本文や資料に書かれている内容と合っているか	資料にない数字が混ざっている
網羅性	指定した項目がすべて埋まっているか	担当者欄が空のまま出力される
形式	指定した表や見出しの形になっているか	表の外に説明文が付いている

よくあるつまずき

観点を増やしすぎると、採点そのものが負担になり、続かなくなります。また、点数だけを記録して理由を残さないと、あとから見返したときに改善の方向が分かりません。「なぜその点数にしたか」を一言添えるだけで、評価表の使い勝手が大きく変わります。

よくある質問（FAQ）

Q. 評価は何人で行えばよいですか？

A. まずは1人で構いません。判断が割れそうな観点がある場合は、同じ出力を2人で採点し、点数がずれた理由を話し合うと基準が磨かれます。人数を増やすのは、基準が固まってからで十分です。

Q. 評価の観点はどのくらいの頻度で見直せばよいですか？

A. 業務の内容が変わったときと、点数が満点に張り付いて判断の役に立たなくなったときが見直しの合図です。四半期ごとなど時期を決めておくと、見直し自体を忘れずに済みます。

Q. 採点を自動化できますか？

A. 別のAIに採点させる方法もありますが、その採点基準が妥当かは人が確かめる必要があります。まず人は手作業で10件ほど採点し、基準を固めてから自動化を検討する順序が安全です。

基礎から順に学びたい方はチュートリアル「はじめての LLM 活用」もあわせてご覧ください。採点の観点づくりは、実際に手を動かしながら覚えるほうが身につきます。

編集部の見解

評価は「AIを疑うための作業」ではなく、変更の効果を確かめるための作業です。当編集部では、プロンプトを直す前に評価表を先に作ることをすすめています。基準があると、うまくいった書き方を他の業務へそのまま持ち運べるようになります。

my-best.ai 編集部

出典：Learn Prompting「Prompt Engineering Course」（要約して紹介しています）