AI DICTIONARY

教師ありファインチューニング(SFT)

  • 最終更新: 2026年11月22日
my-best.ai 編集部

my-best.ai 編集部

AIツール比較・レビュー編集チーム
教師ありファインチューニング(SFT)

SFTとは、人が書いた模範解答を教師データにしてモデルを追加学習させる工程です。学習の位置づけと、指示追従が変わる理由を整理します。

読み方:きょうしありふぁいんちゅーにんぐ。SFT(Supervised Fine-Tuning、教師ありファインチューニング)とは、人が書いた模範解答を教師データにして、学習済みのモデルを追加で学習させる工程です。指示に従う形を覚えさせる目的で、ポストトレーニングの最初の段階に置かれます。

用語の定義

2022年3月に公開された論文は、この工程を「望ましい振る舞いの実演を用いて、教師あり学習で GPT-3 をファインチューニングする」と説明しています。実演のデータは、作業者が書いた依頼文と、API 経由で集めた依頼文の両方から用意されています。

論文の手順は3段階です。実演による教師あり学習、出力の順位付けデータの収集、その順位付けを使った人間のフィードバックによる強化学習です。SFT はこのうち最初の段階にあたります。

学習の対象は、モデルの重みです。依頼文と、それに対する望ましい応答の組を並べ、次の語を当てる学習を続けます。プロンプトの書き方だけを変えるプロンプトエンジニアリングとは、変更する対象が異なります。

わかりやすい説明

事前学習を終えたモデルは、文章の続きを書く力を持っています。ただし、依頼に答える形になっているとは限りません。質問を投げても、似た文章が続くだけで、答えにならないことがあります。

SFT は、この続きの書き方を、依頼と応答の形に寄せます。模範解答を数百から数万の単位で並べ、その形を写させる作業です。覚えさせるのは事実ではなく、答え方の型だと考えたほうが実際に近くなります。

段階 使うデータ 変わること
事前学習 大量の文章 続きを書く力
SFT 依頼と模範解答の組 依頼に答える形
選好学習 出力の順位付け 好まれる応答への寄せ

具体例

論文は、1.3B のパラメータを持つ InstructGPT の出力が、175B の GPT-3 の出力より、人間の評価で好まれたと報告しています。パラメータ数は100分の1以下です。規模を増やすだけでは届かなかった応答の質が、学習の工程で補えたことを示す結果です。

同じ論文は、真実性の改善と有害な出力の減少も報告しています。一方で、単純な間違いは残るとも書いています。公開されているデータセットでの性能が、わずかに下がる場合があることも記載されています。

実務では、自社の問い合わせ対応や社内文書の要約など、型を決めたい作業に使われます。ただし、模範解答の質がそのまま上限になります。誤った回答を含む実演を並べると、その誤り方も学習されます。

使うときの注意

SFT は、知らない事実を新しく覚えさせる手段としては頼りになりません。資料に基づく回答が必要なら、検索して根拠を渡す仕組みを組み合わせます。RAGのページが参考になります。

学習に使うデータは、本番で扱う入力に近づけます。丁寧な依頼文だけで学習すると、乱れた入力を渡したときに崩れます。評価は学習の前に設計し、改善したかを同じ条件で測ります。

計算を抑えたい場合は、重みの一部だけを更新する方法が使われます。手法の違いはファインチューニングのページで扱っています。

関連用語

関連ツール

追加学習を試す場合は、対象モデルの利用条件と、学習用データの扱いを先に確認します。料金と提供条件は各サービスの公式情報で確認してください。

  • ChatGPT:指示に従う形がどこまで整っているかを、利用者側から確かめる用途に使える
  • Claude:長い指示を渡したときの従い方を、比較の対象にする用途に使える

出典

出典:arXiv「Training language models to follow instructions with human feedback(人間のフィードバックを用いて言語モデルを指示に従わせる)」(2022年3月4日提出、Long Ouyang・Jeff Wu・Xu Jiang・Diogo Almeidaほか著)。実演による教師あり学習、順位付けを用いた強化学習、InstructGPT という名称、1.3B のモデルが 175B の GPT-3 より好まれたとする評価、真実性と有害性の変化、公開データセットでの性能の記載は同論文の要旨と本文に基づきます。

関連ガイド

用語を実際に使う練習には、次のまとめページも便利です。

チュートリアル一覧を開く →

プロンプト集(シーン別)を見る →

関連するAI用語辞典

関連チュートリアル

関連プロンプト

関連ツール

本記事にはアフィリエイトリンクを含む場合があります。経由での申し込み時に当サイトが報酬を受け取ることがありますが、掲載内容・評価は報酬の有無に左右されません。記載情報は公開時点のものであり、最新情報は各公式サイトをご確認ください。

編集部の評価方法論を見る →
週1回・無料

AEO診断・AIクローラー最新情報を、
週1回お届け

AI Botの仕様変更やAEO対策のノウハウ、よくあるトラブル事例を編集部が厳選しメール配信。いつでも配信停止可能です。

  • 新Bot・仕様変更AIクローラーに新しいBotが追加されたとき、判定仕様が変わったときの速報
  • 障害事例と対処AEO診断で多い障害事例と、その対処方法を実例で解説
  • AEO活用術Web制作会社・SEO担当者向けのAEO活用テクニック

登録により 利用規約に同意したとみなされます。確認メールのリンクを押すと登録が完了します。

My-Best.AI|AIツール比較・ランキング・おすすめ最新AI情報
Logo

AIクローラー辞典|254 種の Bot を User-Agent から引く

運営事業者・Safety 評価・ブロック時の SEO 影響・robots.txt のコード例まで、ボット単位で確認できます。

自社サイトの AEO 診断はこちら →