
SFTとは、人が書いた模範解答を教師データにしてモデルを追加学習させる工程です。学習の位置づけと、指示追従が変わる理由を整理します。
読み方:きょうしありふぁいんちゅーにんぐ。SFT(Supervised Fine-Tuning、教師ありファインチューニング)とは、人が書いた模範解答を教師データにして、学習済みのモデルを追加で学習させる工程です。指示に従う形を覚えさせる目的で、ポストトレーニングの最初の段階に置かれます。
2022年3月に公開された論文は、この工程を「望ましい振る舞いの実演を用いて、教師あり学習で GPT-3 をファインチューニングする」と説明しています。実演のデータは、作業者が書いた依頼文と、API 経由で集めた依頼文の両方から用意されています。
論文の手順は3段階です。実演による教師あり学習、出力の順位付けデータの収集、その順位付けを使った人間のフィードバックによる強化学習です。SFT はこのうち最初の段階にあたります。
学習の対象は、モデルの重みです。依頼文と、それに対する望ましい応答の組を並べ、次の語を当てる学習を続けます。プロンプトの書き方だけを変えるプロンプトエンジニアリングとは、変更する対象が異なります。
事前学習を終えたモデルは、文章の続きを書く力を持っています。ただし、依頼に答える形になっているとは限りません。質問を投げても、似た文章が続くだけで、答えにならないことがあります。
SFT は、この続きの書き方を、依頼と応答の形に寄せます。模範解答を数百から数万の単位で並べ、その形を写させる作業です。覚えさせるのは事実ではなく、答え方の型だと考えたほうが実際に近くなります。
| 段階 | 使うデータ | 変わること |
|---|---|---|
| 事前学習 | 大量の文章 | 続きを書く力 |
| SFT | 依頼と模範解答の組 | 依頼に答える形 |
| 選好学習 | 出力の順位付け | 好まれる応答への寄せ |
論文は、1.3B のパラメータを持つ InstructGPT の出力が、175B の GPT-3 の出力より、人間の評価で好まれたと報告しています。パラメータ数は100分の1以下です。規模を増やすだけでは届かなかった応答の質が、学習の工程で補えたことを示す結果です。
同じ論文は、真実性の改善と有害な出力の減少も報告しています。一方で、単純な間違いは残るとも書いています。公開されているデータセットでの性能が、わずかに下がる場合があることも記載されています。
実務では、自社の問い合わせ対応や社内文書の要約など、型を決めたい作業に使われます。ただし、模範解答の質がそのまま上限になります。誤った回答を含む実演を並べると、その誤り方も学習されます。
SFT は、知らない事実を新しく覚えさせる手段としては頼りになりません。資料に基づく回答が必要なら、検索して根拠を渡す仕組みを組み合わせます。RAGのページが参考になります。
学習に使うデータは、本番で扱う入力に近づけます。丁寧な依頼文だけで学習すると、乱れた入力を渡したときに崩れます。評価は学習の前に設計し、改善したかを同じ条件で測ります。
計算を抑えたい場合は、重みの一部だけを更新する方法が使われます。手法の違いはファインチューニングのページで扱っています。
追加学習を試す場合は、対象モデルの利用条件と、学習用データの扱いを先に確認します。料金と提供条件は各サービスの公式情報で確認してください。
出典:arXiv「Training language models to follow instructions with human feedback(人間のフィードバックを用いて言語モデルを指示に従わせる)」(2022年3月4日提出、Long Ouyang・Jeff Wu・Xu Jiang・Diogo Almeidaほか著)。実演による教師あり学習、順位付けを用いた強化学習、InstructGPT という名称、1.3B のモデルが 175B の GPT-3 より好まれたとする評価、真実性と有害性の変化、公開データセットでの性能の記載は同論文の要旨と本文に基づきます。
本記事にはアフィリエイトリンクを含む場合があります。経由での申し込み時に当サイトが報酬を受け取ることがありますが、掲載内容・評価は報酬の有無に左右されません。記載情報は公開時点のものであり、最新情報は各公式サイトをご確認ください。
編集部の評価方法論を見る →