文章題のように計算が絡む質問では、途中の式が合っていても最後の一歩で数字がずれます。PAL(Program-Aided Language Models)は、その途中の推論をコードとして書かせ、実行結果を答えにする手法です。Learn Promptingの解説に沿って、実際に組む手順を整理します。

手順1:PALの役割分担を決める
Learn Promptingの解説は、PALをMRKLシステムの一例として紹介しています。MRKLは、言語モデルに任せる部分と、外部の処理系に任せる部分を分ける考え方です。PALでは、質問を読んで手順を組み立てる部分をモデルが担い、計算の実行をランタイムが担います。Chain-of-Thoughtが途中の推論を自然言語で書くのに対し、PALは同じ部分をコードで書きます。
| 手法 | 途中の推論 | 計算の実行 |
|---|---|---|
| Chain-of-Thought | 自然言語で書く | モデルが文章の中で行う |
| PAL | コードで書く | 実行環境が行う |
手順2:例題を3つ用意する
質問と、その解き方をコードで書いた組を例題として並べます。Learn Promptingの解説は、3つの例題を使う簡略版のプロンプトを掲載しています。例題のコードは、変数に値を入れ、計算し、最後に結果を変数へ代入する形にそろえます。例題の書き方がそのまま出力の形を決めるため、変数名の付け方まで統一します。
手順3:自然言語はコメントとして残す
PALは自然言語とコードを交互に書きます。Learn Promptingの解説は、自然言語の部分の先頭に「#」を付けて、実行環境ではコメントとして扱われるようにすると説明しています。意図がコードの横に残るため、後から数字の根拠を追えます。
手順4:出力をコードに限定して実行する
プロンプトの末尾に質問と「# solution in Python:」を置き、続きをコードとして書かせます。返ってきたコードを実行環境に渡し、結果の変数を取り出します。Learn Promptingの解説では、得られたコードをPythonの実行機能に渡して答えを得る流れが示されています。
手順5:失敗したときの扱いを決める
生成されたコードは、そのまま動くとは限りません。存在しない関数を呼ぶ、単位を混ぜる、入力の想定を外すといった崩れ方が起きます。実行の前に構文を確認し、失敗したらエラー内容を添えて書き直させる手順を用意します。外部への通信やファイル操作は許可しない設定にしておくと、想定外の動作を実行前に止められます。
実行の回数と失敗の内容は記録しておきます。例題の不足か、質問の読み取りの誤りか、実行環境の制約かを切り分けられます。計算を含む設問の作り方は、Chain-of-Thoughtで推論の過程を書き出させる手順と比べると違いが分かります。
FAQ
Q. Chain-of-Thoughtとの違いは何ですか?
A. Learn Promptingの解説では、Chain-of-Thoughtが途中の推論を自然言語で書くのに対し、PALは同じ部分をコードで書くと整理されています。計算や手順の実行を外部のランタイムに任せられる点が違いです。
Q. 生成されたコードをそのまま実行してよいですか?
A. そのままの実行は避けます。生成物は外部から持ち込まれた文字列と同じ扱いになり、意図しない操作を含む可能性があります。実行できる命令を制限した環境で動かし、外部への通信を切っておくのが前提です。
あわせて使いたいツール
コードの生成と実行を分けて持つと、失敗の切り分けがしやすくなります。料金と提供条件は各サービスの公式情報で確認してください。
出典
出典:Learn Prompting「コードに推論させる:PAL(Program-Aided Language Models)」(2024年8月7日更新、Sander Schulhoff執筆)。PALがMRKLシステムの一例である点、Chain-of-Thoughtとの違い、自然言語をコメントとして扱う形式、3つの例題を使う簡略版の構成は同記事の記載に基づきます。
関連ガイド
- Chain-of-Thoughtで推論の過程を書き出させる手順
- 自己整合性サンプリングで回答を安定させる手順
- チェーン・オブ・ソート(Chain-of-Thought):推論を書き出させる基本の手法
- AIツールのレビュー一覧
最新のAI情報をメールで受け取る
新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。
ご登録後、確認メールをお送りします。配信停止はいつでも可能です。
