
核サンプリング(top-p)とは、累積確率がしきい値に達するまでの候補だけから次の語を抽選する復号法です。考案論文が示した問題意識と、temperatureとの違いを整理します。
読み方:ぬくるーすさんぷりんぐ。核サンプリング(Nucleus Sampling)とは、次の語を選ぶとき、確率の高い順に候補を並べ、累積確率がしきい値pに達するまでの最小の集合だけから抽選する復号法です。top-pサンプリングとも呼びます。2019年に公開され、2020年のICLRで発表された論文で提案されました。
論文の要旨は、この手法を「確率分布の動的な核からテキストをサンプリングすることで、多様性を保ちながら、信頼できない裾の部分を実質的に切り落とす方法」と説明しています。候補の数が固定ではなく、分布の形に応じて毎回変わる点が、上位k件に限る方式との違いです。
論文が解こうとしたのは、学習の目的関数として尤度を使うと理解タスクでは高品質なモデルができるのに、生成の目的関数として尤度を使うと、単調で奇妙に繰り返しの多い文章になる、という観察です。同じモデルでも、復号の戦略だけで生成文の質が大きく変わると報告しています。
手続きは3つに分かれます。モデルが次の語の確率分布を出したら、確率の高い順に語を並べ、累積がしきい値pを超えたところで切ります。残った語だけで確率を合計し直し、その中から1語を抽選します。この切り直しのため、残った語の確率の比は元の分布と同じまま、候補だけが絞られます。
しきい値を1にすると分布全体が残るため、素朴なサンプリングになります。値を下げるほど候補が減り、0に近づけると最も確率の高い語を選ぶ動作に近づきます。つまり、固定のk件で切る方式と違い、分布が平らな場面では候補が増え、尖っている場面では候補が減ります。
| 方式 | 候補の決め方 | 起きやすいこと |
|---|---|---|
| 貪欲法・ビーム探索 | 確率の上位を機械的に選ぶ | 単調な言い回しの繰り返し |
| temperatureサンプリング | 分布の形を変えて全体から抽選 | 裾の語を拾い、文が破綻しやすい |
| 核サンプリング | 累積確率pで候補を切ってから抽選 | 裾を避けつつ多様性を残す |
同じ依頼文でも、設定を変えると出力の性格が変わります。商品説明を10案出したい場面では、候補を広めに残す設定のほうが表現の重複が減ります。逆に、社内規程の条文を一字一句変えずに写したい場面では、抽選に任せず候補を絞る設定のほうが安全です。
論文は、復号の設定だけを変えても、同じモデルから出る文章の質が大きく変わると述べています。品質が足りないと感じたときに、モデルを替える前に復号の設定を疑う理由がここにあります。関連する設定はtemperature、比較対象になる方式はビーム探索のページで扱っています。
しきい値の既定値や調整範囲は、サービスごとに異なります。APIのドキュメントに記載された範囲を超えた値を送ると、エラーになるか無視されます。数値は各サービスの公式情報で確認してください。
候補を絞ると、同じ依頼に対して同じ答えが出やすくなります。事実を問う用途では利点ですが、言い回しの提案では物足りなくなります。用途ごとに設定を分けておき、出力を比べて決めるのが実務的です。抽選の単位になる語の切れ方はトークンとトークン化のページで扱っています。
復号の設定は、APIやアプリの設定画面から変更できます。料金と提供条件は各サービスの公式情報で確認してください。
出典:arXiv「神経言語モデルによるテキスト生成の不思議な劣化」(2019年4月22日提出、2020年2月14日改訂、Ari Holtzman・Jan Buys・Li Du・Maxwell Forbes・Yejin Choi著、ICLR 2020採録)。尤度を生成の目的関数にすると繰り返しが増えるという観察、復号戦略だけで生成文の質が変わること、累積確率による動的な核からの抽選という提案は同論文の要旨と本文に基づきます。
本記事にはアフィリエイトリンクを含む場合があります。経由での申し込み時に当サイトが報酬を受け取ることがありますが、掲載内容・評価は報酬の有無に左右されません。記載情報は公開時点のものであり、最新情報は各公式サイトをご確認ください。
編集部の評価方法論を見る →