
憲法AIとは、人間が用意した原則の一覧だけを指針に、モデル自身の批評と修正で無害性を学習させる手法です。Anthropicの論文が示した2段階の手続きと限界を整理します。
読み方:けんぽうえーあい。憲法AI(Constitutional AI)とは、人間が書いた原則の一覧だけを指針として、モデル自身に出力を批評させ、書き直させることで無害性を学習させる手法です。2022年12月の論文で示されました。このページでは、論文に沿って2段階の手続きと、実務で意識したい限界を整理します。
論文の要旨は、この手法を「有害な出力のラベルを人間が一切付けずに、自己改善を通じて無害なアシスタントを訓練する試み」と説明しています。人間の監督は、規則または原則の一覧という形でだけ与えられます。この原則の一覧を憲法と呼ぶため、憲法AIという名称になっています。
手続きは、教師あり学習の段階と強化学習の段階に分かれます。どちらの段階でも、人間が個々の回答に良し悪しを付けるのではなく、原則に照らした判断をモデル側が担う点が特徴です。
教師あり学習の段階では、まず初期モデルから回答を生成します。その回答に対してモデル自身が批判を書き、批判を踏まえた修正版を作ります。そのうえで、修正版を正解として元のモデルを微調整します。人間が用意したのは原則だけで、どの回答が望ましいかという判断はモデルが文章として出力します。
強化学習の段階では、微調整後のモデルから2つの回答を生成し、どちらがより原則に沿うかをモデルに選ばせます。この選択の集まりから選好モデルを訓練し、その選好モデルを報酬として強化学習を行います。論文はこの方式を、AIからのフィードバックによる強化学習(RLAIF)と呼んでいます。
| 段階 | モデルが行うこと | 人間が用意するもの |
|---|---|---|
| 教師あり学習 | 回答の生成、自己批判、修正版の作成 | 原則の一覧 |
| 強化学習 | 2つの回答の比較、選好モデルの訓練 | 原則の一覧 |
| 運用 | 原則に触れたうえで回答する | 原則の見直し |
論文は、有害な質問に対しても、回答を拒否して話を打ち切るのではなく、なぜ応じられないかを説明する形の応答が得られたと報告しています。回避的でない無害なアシスタントという表現で、この挙動を説明しています。
また、教師あり学習と強化学習のどちらの段階でも、思考の連鎖のような推論を書かせることができ、人間が判断した性能と意思決定の透明性が上がると述べています。判断の理由が文章で残るため、後から原則のどこに当たったかを確認できます。
原則の一覧は、そのまま振る舞いの設計になります。禁止事項を並べるだけでは、境界の事例で判断がぶれます。論文のように、原則を文章で持ち、判断の理由も出力させる形にしておくと、ぶれの原因を追いやすくなります。
論文が対象にしているのは、主に直接的に書かれた事実の誤りや有害性です。複数段の推論の誤りや、原則そのものの解釈のずれは、別の検証手段と組み合わせる必要があります。出力の検査はレッドチーミングやヒューマン・イン・ザ・ループのページで扱っています。
この手法はモデルの訓練側の技術で、利用者が直接設定するものではありません。考え方を確かめる用途では、原則を依頼文の冒頭に置いて応答を比べられます。料金と提供条件は各サービスの公式情報で確認してください。
出典:arXiv「憲法AI:AIからのフィードバックによる無害性の獲得」(2022年12月15日提出、Yuntao Baiほか、Anthropic)。自己批判と修正による教師あり学習、AIの選好による強化学習(RLAIF)、回避的でない無害な応答、思考の連鎖による透明性の向上は同論文の要旨と本文の記載に基づきます。
本記事にはアフィリエイトリンクを含む場合があります。経由での申し込み時に当サイトが報酬を受け取ることがありますが、掲載内容・評価は報酬の有無に左右されません。記載情報は公開時点のものであり、最新情報は各公式サイトをご確認ください。
編集部の評価方法論を見る →