同じ事実を尋ねているのに、聞き方を変えると答えが変わる。この差を、勘ではなく手順で選ぶ方法があります。Learn Promptingが解説するプロンプトマイニングは、手元の文書の中から、モデルが馴染みやすい依頼文の型を採ってくる考え方です。

手順1:評価用の質問を20問そろえる
比べる土台として、答えが1つに決まる質問を用意します。社内規程の確認、製品仕様の照会、過去の経緯の確認など、文書に答えがある質問です。
20問のうち、10問は型の選択に使い、10問は最終確認に回します。同じ質問で選ぶと、その質問に合った型が選ばれてしまいます。
手順2:手元の文書をコーパスにする
型を採る元になる文書を集めます。解説は、モデルの学習に使われたデータに近いほどよいとしています。社内文書だけを使う場合は、少なくとも数十本のまとまりにします。
集めた文書は、質問の答えが含まれる範囲と、含まれない範囲に分けます。答えのない文書を混ぜると、どの型でも正解が出ず、差が測れません。
手順3:型を2つの方法で抜き出す
1つ目は、文書の中の関係の言い回しを拾う方法です。「AはBに含まれる」「Aの担当はBである」のように、主語と目的語のあいだの表現を型に変えます。
2つ目は、元になる型を言い換える方法です。「AはBと国境を接する」を「AはBと共通の境界を持つ」に変えるように、意味を保ったまま語彙を増やします。解説は、1つ目の方法の利点として、参照用の型を手で用意しなくてよい点を挙げています。
手順4:出現頻度で候補を絞る
抜き出した型のうち、文書の中でよく現れるものを残します。よく現れる型は、モデルが学習の途中で見ている形に近いという考え方です。
| 段階 | 作業 | 残す数 |
|---|---|---|
| 抽出 | 関係の言い回しを型に変える | 30前後 |
| 絞り込み | 出現頻度で並べる | 10前後 |
| 比較 | 10問で正解数を数える | 3前後 |
| 確認 | 残り10問で再測 | 1 |
手順5:同じ条件で試して1つに決める
絞った型に、同じ質問を同じ順番で投げます。温度などの設定も固定します。設定が動くと、型の差と揺らぎの差が混ざります。
正解数が最も多い型を選び、残りの10問で確かめます。差が1問や2問なら、型の違いではなく揺らぎの可能性があります。同じ質問を2回ずつ投げ、再現する差だけを採用します。解説は、題材が特殊すぎる場合に効果が出ないことと、計算の費用がかかることを限界として挙げています。
選んだ型は、依頼文の雛形として残します。雛形の作り方はプロンプトエンジニアリングのページで、例の選び方はプロンプトの偏りを減らす5ステップで扱っています。
FAQ
Q. 手元に大きな文書がない場合はどうすればよいですか。
A. 評価用の質問20問と、その答えを含む文書30本ほどから始められます。論文が想定する規模より小さいため、効果は限定的です。それでも、型の違いで正解率が動くかどうかは確かめられます。
Q. 作業の手間はどのくらい増えますか。
A. 型の候補を10前後作り、20問で試す場合、準備に半日ほどかかります。Learn Promptingは、計算の費用がかかる点と、題材が特殊すぎると効果が出ない場合がある点を限界として挙げています。
あわせて使いたいツール
型を試す回数が増えるため、同じ条件で繰り返せる環境を選びます。料金と提供条件は各サービスの公式情報で確認してください。
出典
出典:Learn Prompting「プロンプトマイニング」(2025年3月25日更新、Sander Schulhoff著)。型の抽出と選択の2段階、関係の言い回しを拾う方法と言い換える方法、出現頻度による選択、計算費用と題材の特殊性という限界は同記事の記載に基づきます。
関連ガイド
- プロンプトの偏りを減らす5ステップ
- LLMに自分の出力を評価させる5ステップ
- 用語:ゼロショット学習(Zero-shot Learning)
- 答えから条件を逆算させる自己検証5ステップ
- 入力の後ろに指示を置く防御5ステップ
- ポストトレーニングを学ぶ順番5ステップ
最新のAI情報をメールで受け取る
新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。
ご登録後、確認メールをお送りします。配信停止はいつでも可能です。
