RLHF（人間のフィードバックによる強化学習）Reinforcement Learning from Human Feedback　—　読み：あーるえるえっちえふ

RLHF（Reinforcement Learning from Human Feedback）は、人間の評価を手がかりに AI の振る舞いを調整する学習手法です。正解が一つに決まらない「よい回答」を、人が比べて選んだ順位として集め、その選好をモデルに学習させます。このページでは、定義・仕組み・出典・活用例・理解用プロンプト・FAQ をまとめて解説します。

① なぜ人が評価するのか

要約や会話のように、正解が一つに決まらない作業では、「この回答が正解」と決め打ちしたデータを作るのが困難です。そこで、複数の候補を人が見比べて順位をつけ、その比較結果を学習の手がかりとして使います。正解を書くのではなく、優劣を判断するほうが人の負担も小さくなります。

② 3 つの段階で進む

一般的には 3 段階で進みます。まず、人が書いた模範例で微調整します（教師あり微調整）。次に、候補の比較データから「どの回答が好まれるか」を予測する報酬モデルを学習します。最後に、その報酬を手がかりに強化学習で方針を更新します。報酬モデルは人の評価を代行する採点者として働きます。

③ 報酬モデルの役割と限界

報酬モデルがあると、新しい入力に対しても人の評価を待たずに学習を進められます。ただし、これは人の判断を近似しただけの存在です。点数を上げること自体が目的になると、見た目は立派だが中身が伴わない回答が選ばれることがあります。この現象は報酬のずれとして知られ、評価基準の設計と定期的な見直しが欠かせません。

④ 現在の位置づけ

RLHF は、指示に沿った回答を作るための代表的な手法として広く使われてきました。近年は、人の代わりに別の AI が評価する方法や、比較データから直接方針を更新する方法も併用されています。いずれの場合も、「何をよいとするか」を決める工程が品質を左右します。関連する用語は強化学習・ファインチューニング・AIアラインメントのページで確認できます。

人の選好を学習に使う考え方は、2017 年に発表された人間の選好からの強化学習に関する研究で示されました。その後 2022 年、指示に従う言語モデルの学習にこの手法を適用した研究が公開され、対話モデルの調整方法として広く知られるようになりました。現在は、評価の自動化や、比較データを直接使う手法も組み合わされています。名前と手順は公開論文と各社の技術資料で説明されています。

• Christiano et al. (2017) Deep reinforcement learning from human preferences
• Ouyang et al. (2022) Training language models to follow instructions with human feedback

• 強化学習
• ファインチューニング
• 事前学習
• 教師あり学習
• AIアライメント
• 人間参加型（HITL）
• ハルシネーション（AI 幻覚）
• 基盤モデル
• チュートリアル：人の評価を学習に変える考え方：評価の観点を設計する →

用語同士は相互リンクされています。未掲載の用語は用語一覧の該当項目へリンクします。

実務でそのまま使えるプロンプト例です。コピーして〔　〕内を置き換えてください。同じカードはプロンプト集にも掲載されています。

RLHF の学習の流れを、次の条件で整理してください。
・「模範例による微調整」「報酬モデルの学習」「強化学習による更新」の 3 段階に分ける
・各段階について、入力になるデータと出力を 1 行ずつ書く
・最後に、人が担う作業を箇条書きで挙げる
専門用語は使う前に短く言い換えてください。

AI の回答を人が評価して学習させる運用を想定しています。
「点数は上がったが実際の役立ち度は上がっていない」状態の兆候として考えられるものを 5 つ挙げ、それぞれ確認方法を添えてください。
出力は表（兆候／確認方法／見直しの頻度）にしてください。

同じ回答を複数人で評価するときの手順書を作成してください。
含める項目：評価の観点、判断に迷ったときの扱い、記録する内容、見直しのタイミング。
あわせて、評価が分かれやすい回答の例を 2 つ挙げてください。

• Christiano et al. (2017) Deep reinforcement learning from human preferences
• Ouyang et al. (2022) Training language models to follow instructions with human feedback
• Anthropic「Training a helpful and harmless assistant with reinforcement learning from human feedback」

定義・出典の記述は一次資料に基づきます。リンク先の内容は公開時点のものです。

RLHF は、人の比較評価を報酬として使い、AI の振る舞いを望ましい方向へ調整する学習手法です。正解が一つに決まらないタスクの品質調整に向く一方で、評価基準の偏りがそのままモデルに反映されるため、「何をよいとするか」の設計と見直しが成果を左右します。

• 正解ではなく「好まれる傾向」を学ぶ手法だと理解する
• 点数が上がっても実質が伴うかを別の指標で確認する
• 評価者・観点・記録の 3 点をセットで設計する