LLMに自分の出力を評価させる5ステップ

best

UXリサーチャー/AIツール評価
LLMに自分の出力を評価させる5ステップ

答えを1回出して終わりにすると、誤りがそのまま残ります。Learn Promptingの解説は、同じモデルに自分の答えを点検させ、指摘を書かせて書き直させる形を紹介しています。別のモデルや専用の仕組みは要らず、同じやり取りの中で続けられます。

LLMに自分の出力を評価させる5ステップのポイント

手順1:条件をつけて答えを出させる

最初の答えは、条件を箇条書きで渡して出させます。条件が曖昧なままだと、点検の基準も曖昧になります。読み手、長さ、必ず入れる要素の3つは先に決めます。

答えは消さずに残します。後の手順で、どこが変わったかを比べるためです。

手順2:同じやり取りの中で正しさを問い直す

答えが出たら、続けてその答えが正しいかを尋ねます。解説は、単純な計算の答えを出させ、その答えが本当に正しいかを問い直すと、モデルが誤りを認める例を示しています。

問い直しは、同じやり取りの中で行います。新しい会話を開くと、直前の答えを参照できません。

手順3:観点を並べて指摘を書かせる

「問題点を挙げてください」だけでは、指摘が浅くなります。観点を3つから4つ並べ、観点ごとに指摘を書かせます。事実の誤り、条件の抜け、読みにくい箇所、根拠の不足、という並びが使いやすい形です。

観点 書かせる内容 指摘の例
事実 確認できる情報と食い違う箇所 数値の出所が示されていない
抜け 条件に対して足りない要素 読者層の指定が反映されていない
読みやすさ 意味が取りにくい文 主語と述語が離れている
根拠 裏づけのない断定 効果の大きさを一般化している

指摘が空になった観点は、その旨を書かせます。空の理由が分かると、点検が効いていないのか、本当に問題がないのかを切り分けられます。

手順4:指摘を反映して書き直させる

指摘をそのまま渡し、直した箇所と理由を添えて書き直させます。全部を一度に直させると、どこが変わったか追えません。観点を1つずつ指定して直すと、変化を確認できます。

指摘の一部が誤っている場合もあります。採用しなかった指摘と、その理由も書かせておくと、後から判断をたどれます。

手順5:止める条件を決めて、記録を残す

指摘がなくなったら止める、回数の上限を決めて止める、のどちらかを選びます。解説は回数の目安を示していないため、業務では上限を先に決めておくほうが扱いやすくなります。

締めくくりとして、最初の答えと最終の答え、採用した指摘の3つを残します。同じ依頼が繰り返し来るなら、よく出る指摘を依頼文の条件に移すと、1回で通る割合が上がります。点検の設計はハルシネーションのページと合わせて読むと理解が進みます。

FAQ

Q. 自己評価だけで誤りは防げますか。

A. Learn Promptingの解説は、自己評価を点検の1つとして扱っています。同じモデルが誤りを見落とす場合があるため、計算や数値は外部で確かめるほうが確実です。文章の抜けや構成の確認に向いています。

Q. 何回くらい繰り返せばよいですか。

A. 解説は回数の目安を示していません。指摘がなくなったら止める、回数の上限を決めて止める、のどちらかにすると運用しやすくなります。回数を増やすほど費用と待ち時間は増えます。

あわせて使いたいツール

点検の往復は、ふだん使っているチャットの画面で試せます。料金と提供条件は各サービスの公式情報で確認してください。

  • ChatGPT:同じやり取りの中で指摘と書き直しを続ける用途に使える
  • Claude:長い文章を観点ごとに点検させる用途に使える

出典

出典:Learn Prompting「LLMの自己評価:AIのフィードバックで信頼性を高める」(2024年8月7日更新、Sander Schulhoff著)。自分の出力を同じモデルに点検させる基本の形、単純な計算で誤りを認める例、指摘と書き直しを繰り返す構成は同ページの記載に基づきます。

関連ガイド

基礎から順に学びたい場合は、チュートリアルと依頼文の見本を用意しています。

チュートリアル一覧を開く →

プロンプト集(シーン別)を見る →



メールマガジン

最新のAI情報をメールで受け取る

新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。

ご登録後、確認メールをお送りします。配信停止はいつでも可能です。

週1回・無料

AEO診断・AIクローラー最新情報を、
週1回お届け

AI Botの仕様変更やAEO対策のノウハウ、よくあるトラブル事例を編集部が厳選しメール配信。いつでも配信停止可能です。

  • 新Bot・仕様変更AIクローラーに新しいBotが追加されたとき、判定仕様が変わったときの速報
  • 障害事例と対処AEO診断で多い障害事例と、その対処方法を実例で解説
  • AEO活用術Web制作会社・SEO担当者向けのAEO活用テクニック

登録により 利用規約に同意したとみなされます。確認メールのリンクを押すと登録が完了します。

My-Best.AI|AIツール比較・ランキング・おすすめ最新AI情報
Logo