事前学習

事前学習（Pretraining）とは、特定のタスクを実行するために、大量のデータを用いてAIモデルをあらかじめ訓練するプロセスです。この段階でモデルは、タスク固有のデータではなくより一般的なデータからパターンや特徴を学び、その後の学習効率を高めます。

事前学習とは（意味・定義）

AIモデルをいきなり目的のタスクだけで訓練すると、必要なデータ量が膨大になり、精度も安定しません。そこで、まず広いデータで基本的な知識を身につけさせ、そのうえで目的のタスクに合わせて調整する、という二段構えの進め方が取られます。最初の段階が事前学習です。

この考え方は、人間が基礎を学んでから応用に進む流れに似ています。土台となる知識があるほど、限られた例から新しいことを学びやすくなる、という発想です。

なぜ事前学習が必要なのか

事前学習の主な目的は、モデルが初期段階で有用な特徴やパターンを獲得し、その後の特定タスクの学習を効率化することです。とくに、特定のタスクに対するデータが限られている場合、事前学習で得た知識が非常に役立ちます。

ゼロから大量のラベル付きデータを用意するのは現実的でないことが多いため、事前学習は実務でも広く使われます。少量のデータしか集められない分野でも、一般的な知識を土台にすることで、実用的な精度に近づけやすくなります。

主な方法

事前学習の方法は多岐にわたりますが、代表的なものとして教師あり学習と自己教師あり学習があります。

近年の大規模モデルでは、人手でラベルを付けずにデータ自身を手がかりにする自己教師あり学習が主流になっています。たとえば文章の一部を隠して予測させる、といった形で、大量のテキストから学ばせることができます。

代表的な活用例

自然言語処理の分野では、BERTやGPTといったモデルが、大量のテキストデータを用いて事前学習されています。また、画像認識の分野では、大規模な画像データセットで事前学習されたモデルが、物体の検出や画像の分類に利用されています。

こうした土台があることで、限られたデータでも高い精度を出しやすくなります。事前学習済みのモデルが広く公開されていることも、開発の敷居を下げる要因になっています。目的のタスクに合わせて一部だけを追加学習すればよいため、開発全体の時間とコストを抑えやすくなります。

ファインチューニングとの関係

事前学習で身につけた一般的な知識を、目的のタスク向けに追加学習するのがファインチューニングです。「広く学ぶ」のが事前学習、「目的に合わせて磨く」のがファインチューニング、と対で理解すると整理しやすくなります。

関連する考え方として、学習済みの知識を別のタスクに活かす転移学習があります。事前学習とファインチューニングの組み合わせは、この転移学習の代表的な進め方のひとつです。

よくある誤解

誤解：事前学習をすれば目的のタスクもそのまま解ける

実際は：事前学習はあくまで土台づくりです。目的のタスクに合わせた追加学習や評価を行わなければ、実用的な精度には届きません。

誤解：事前学習は特定の分野のデータだけで行う

実際は：むしろ分野を限定しない一般的なデータを大量に使う点が特徴です。そのぶん広い知識を獲得できます。

誤解：事前学習は小規模な開発には関係がない

実際は：公開された事前学習済みモデルを活用すれば、小規模な開発でも恩恵を受けられます。

FAQ（よくある質問）

Q. 事前学習と学習の違いは何ですか？

A. 事前学習は一般的な知識を獲得する段階、その後の学習は目的のタスクに合わせて性能を高める段階です。目的と使うデータが異なります。

Q. データが少ない分野でも効果がありますか？

A. はい。まさにデータが限られる場面でこそ、事前学習で得た知識が有効に働きます。

Q. どのモデルを土台に選べばよいですか？

A. 扱うデータの種類（テキストか画像かなど）と目的のタスクに合ったものを選ぶのが基本です。

関連用語

• ファインチューニング — 事前学習後の追加調整
• 転移学習 — 学習済み知識の再利用
• LLM — 事前学習で鍛えられた大規模言語モデル

用語の一覧はAI用語辞典トップからたどれます。実際のツール比較はAIツール一覧をご覧ください。

参考出典

• Google Cloud「生成 AI の用語集」: docs.cloud.google.com
• Salesforce「AI用語虎の巻」: salesforce.com