LLM-as-a-Judge（LLM による評価）LLM-as-a-Judge　—　読み：えるえるえむあずあじゃっじ

LLM-as-a-Judge は、出来上がった文章や回答の良し悪しを、別の言語モデルに判定させる評価の方法です。人が全件を読む代わりに、モデルに採点や順位付けをさせます。このページでは、判定の組み方・出典・偏り・FAQ をまとめます。

① 判定の型を決める

判定には主に2つの型があります。1つは、1つの出力を基準に照らして点数を付ける型です。もう1つは、2つの出力を並べてどちらが良いかを決める型です。点数は絶対的な尺度が必要になり、比較は相対的な判断で済みます。どちらを選ぶかで、必要な設問数と判定の安定性が変わります。

② 採点基準を文で固定する

判定役のモデルに渡す前に、基準を言葉で書き下します。"読みやすい"のような語だけでは、判定のたびに解釈が変わります。観点ごとに、満たすべき条件を箇条書きにします。論文も、判定の指示によって結果が変わることを前提に、評価用の設問集とあわせて手順を固定する形を取っています。

③ 偏りを打ち消す

論文は、判定役のモデルに特有の偏りとして、位置、冗長さ、自己強化の3つを挙げています。位置の偏りは、先に置かれた回答を選びやすい傾向です。冗長さの偏りは、長い回答を高く評価しやすい傾向です。自己強化の偏りは、同じ系統のモデルの出力を高く評価しやすい傾向です。順番を入れ替えて2回判定し、両方で勝った場合だけ採用する方法で、位置の偏りを弱められます。

④ 人の判定と突き合わせる

判定役の点数は、そのままでは正しさの証明になりません。人が付けた判定と並べ、一致する割合を見ます。一致率が低い観点は、基準の書き方か設問の選び方に問題があります。論文は、MT-bench と Chatbot Arena という2つの評価基盤を用意し、強いモデルの判定が人の選好と 80パーセントを超える一致を示したと報告しています。これは論文の実験条件での結果で、自分の用途で同じ一致率が出るとは限りません。

LLM-as-a-Judge という呼び方は、2023年6月に公開された論文"Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena" で整理されました。論文は、対話モデルの能力が広がったことで、既存のベンチマークだけでは人の選好を測りきれなくなった点を出発点にしています。そこで、強い言語モデルを判定役として使い、自由回答の質を評価する方法を検討しています。論文は、この方法の限界として、位置・冗長さ・自己強化という3つの偏りと、推論能力の不足を挙げ、一部を打ち消す手立てを示しています。あわせて、多段の質問集である MT-bench と、利用者が2つの応答を比べる Chatbot Arena を用意し、判定役の結果と人の選好の一致を確かめています。抄録には、GPT-4 のような強いモデルの判定が、統制された比較でも群衆による比較でも人の選好とよく一致し、一致率が 80パーセントを超えたと書かれています。この数値は論文の実験条件での報告です。

• Zheng ほか「Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena」（arXiv:2306.05685、2023年6月9日公開、2026年10月28日参照）

• chain-of-verification
• self-consistency
• 人間参加型（HITL）
• レッドチーミング
• 正答率
• 適合率
• ハルシネーション（AI 幻覚）
• チュートリアル：判定役の採点を人の目で検算する：20件で一致率を出すステップ →

用語同士は相互リンクされています。未掲載の用語は用語一覧の該当項目へリンクします。

実務でそのまま使えるプロンプト例です。コピーして〔　〕内を置き換えてください。同じカードはプロンプト集にも掲載されています。

次の出力を評価するための基準を作ります。
評価したい観点：〔観点を1つ〕

5段階の5・3・1のそれぞれについて、"どの事実が確認できればその点数か"を1行で書いてください。
主観的な言葉は使わず、出力の中を数えるか、照合するかで判定できる書き方にしてください。
あわせて、判定に迷いやすい例を1つ挙げ、その場合の扱いを決めてください。

次の2つの出力A・Bを比べます。
出力A：〔　〕
出力B：〔　〕

比べる観点：〔観点を2つ〕

1回目はAを先に、2回目はBを先に並べて、それぞれ判定してください。
2回で結論が変わった場合は、変わった理由を観点ごとに書いてください。
長さの違いが判断に影響していないかも確認してください。

判定役のモデルが出した点数と、人が付けた点数を突き合わせます。
データ：〔設問ID・モデルの点数・人の点数〕

観点ごとに一致した件数と、しなかった件数を集計してください。
食い違った事例を3件選び、どちらの判定が基準に沿っているかを1件ずつ検討してください。
基準を直すべきか、設問を変えるべきかの結論も添えてください。

出典：次の一次資料を参照しました（参照日 2026年10月28日）。リンクは貼らず、媒体名と資料名のみを記します。

• Zheng ほか「Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena」（arXiv:2306.05685、2023年6月9日公開、2026年10月28日参照）

定義・出典の記述は一次資料に基づきます。リンク先の内容は公開時点のものです。

LLM-as-a-Judge は、出力の良し悪しを別の言語モデルに判定させる評価方法です。単独採点と2案の比較の2つの型があり、基準を言葉で固定してから使います。位置・冗長さ・自己強化という偏りが知られており、順番の入れ替えで一部を打ち消せます。論文は強いモデルの判定が人の選好と 80パーセントを超えて一致したと報告していますが、自用途での一致率は自分で測る必要があります。

• 判定の型を決め、基準を言葉で固定してから使う
• 位置と長さの偏りがあるため、順番の入れ替えと長さの確認を挟む
• 人の判定との一致率を測るまでを1組として扱う