
自己改善とは、同じモデルに出力への指摘を書かせ、その指摘で書き直させる手順です。追加の学習が要らない点と、限界を整理します。
読み方:せるふりふぁいん。自己改善(Self-Refine)とは、いったん出した出力に対して同じモデルに指摘を書かせ、その指摘を使って出力を書き直させる手順です。2023年3月に公開された論文で提案されました。
論文は、この手法を「言語モデルによる初期出力を、反復的なフィードバックと改善によって高める方法」と説明しています。人の文章の推敲を手本にした考え方です。
手順は、初期出力を生成する、同じモデルがその出力へのフィードバックを書く、フィードバックを使って自分で書き直す、という3つの工程の繰り返しです。教師データによる学習、追加の学習、強化学習のいずれも必要とせず、1つのモデルが生成・指摘・改善の3つの役を兼ねます。
ポイントは、別のモデルや別の担当者を用意しない点です。同じモデルに役を切り替えさせるだけで、出力の質を上げる狙いがあります。役の切り替えは、依頼文の書き方で指示します。
止め方は2つあります。指摘がなくなったら止める、回数の上限を決めて止める、のどちらかです。回数を増やすほど費用と待ち時間が増えるため、上限は先に決めておきます。
| 工程 | モデルにさせること | 書き方の例 |
|---|---|---|
| 生成 | 依頼に対する最初の答えを書く | 条件を箇条書きで渡す |
| 指摘 | 答えの弱点を観点ごとに挙げる | 事実・抜け・読みにくさの3観点で書かせる |
| 改善 | 指摘を反映して書き直す | 直した箇所と理由を添えさせる |
社内規程の問い合わせ対応を考えます。最初の答えに、根拠の条番号が入っていないことがあります。指摘の工程で「根拠の条番号が抜けていないか」を観点として渡すと、2回目の答えで条番号が補われます。
論文は、対話の応答生成から数学的推論まで、7種類の課題で手法を評価しています。評価には当時の主要なモデルが使われ、この手法で作った出力は、人の評価と自動評価の両方で好まれたと報告されています。課題と評価の条件は論文に記載されています。
同じモデルが自分の誤りを見落とす場合があります。指摘の工程が「問題ありません」で終わると、改善は起きません。観点を具体的に渡し、指摘が空になった理由も書かせると、止まった理由が分かります。
計算や数値のように正解が1つに決まる課題は、モデルの指摘より外部の計算で確かめるほうが確実です。指摘の工程は、文章の構成や抜けの確認に向いています。似た考え方は自己整合性とConstitutional AIのページで扱っています。
手順は依頼文だけで再現できます。料金と提供条件は各サービスの公式情報で確認してください。
出典:arXiv「Self-Refine: Iterative Refinement with Self-Feedback(自己改善:自己フィードバックによる反復的な改善)」(2023年3月30日提出、2023年5月25日改訂、Aman Madaan・Niket Tandon・Prakhar Guptaほか著)。1つのモデルが生成・指摘・改善を兼ねる構成、学習を必要としない点、7種類の課題での評価は同論文の要旨と本文の記載に基づきます。
本記事にはアフィリエイトリンクを含む場合があります。経由での申し込み時に当サイトが報酬を受け取ることがありますが、掲載内容・評価は報酬の有無に左右されません。記載情報は公開時点のものであり、最新情報は各公式サイトをご確認ください。
編集部の評価方法論を見る →