
思考の木(ToT)とは、途中の考えを複数に分けて保持し、評価しながら先読みや後戻りをする推論の枠組みです。連鎖の考え方を拡張した点と、向き不向きを整理します。
読み方:つりーおぶそーつ。思考の木(Tree of Thoughts、ToT)とは、問題を解く途中の考えを「思考」という単位に区切り、複数の筋道を同時に保持しながら、各段階で自分の案を評価して先に進むか戻るかを決める推論の枠組みです。2023年5月に公開された論文で提案されました。
論文は、この枠組みを「言語モデルの推論のための新しい枠組みであり、広く使われている連鎖の考え方(Chain of Thought)を一般化し、問題解決への中間段階となるまとまりのあるテキストの単位の上で探索を可能にするもの」と説明しています。
論文が指摘する従来の限界は、推論が語の単位で左から右へ一方向に進む点です。この進み方では、探索が要る課題、先を読む必要がある課題、最初の判断が結果を大きく左右する課題で、力が出にくくなります。
手続きは、案を分けて出す、各案を評価する、評価に応じて進むか戻るかを決める、の繰り返しです。1本の筋道を最後まで書き切ってから直すのではなく、途中の段階で複数の案を並べて比べます。論文はこの動きを、意図的な意思決定と呼んでいます。
探索の深さと幅、評価の付け方は、課題に合わせて設計します。評価をモデル自身に書かせる場合もあれば、決まった判定で行う場合もあります。評価の設計がそのまま結果を決めるため、枠組みだけを入れても効果は出ません。
| 項目 | 連鎖の考え方 | 思考の木 |
|---|---|---|
| 筋道の数 | 1本 | 複数を並べて保持 |
| 途中の評価 | なし | 各段階で案を評価 |
| 後戻り | できない | 必要なら戻る |
| 向く課題 | 手順が決まっている計算や要約 | 計画や探索が要る課題 |
論文は、4つの数字から24を作るパズル、創作文章、ミニクロスワードの3課題で効果を測っています。24のパズルでは、連鎖の考え方を用いたGPT-4が解けた課題の割合が4%であったのに対し、この手法では74%に達したと報告されています。課題の作り方と採点の条件は論文に記載されています。
実務では、見積もりの前提を複数立てて比べる場面や、手順の順番を入れ替えて結果を比べる場面が近い使い方になります。1本の案を磨くより、案の数と評価の基準を先に決めるほうが効きます。
案を分けると、その分だけ生成と評価の回数が増えます。費用と待ち時間が増えるため、すべての作業に適用するのは得策ではありません。手順が決まっている作業は、1本の筋道のままで足ります。
評価の基準が曖昧だと、誤った案が選ばれます。評価をモデルに任せる場合は、基準を依頼文に書き、判定の理由も出させると検証しやすくなります。関連する考え方は自己整合性とテスト時計算のページで扱っています。
この枠組みは、依頼文の書き方と生成の繰り返しで近い動きを再現できます。料金と提供条件は各サービスの公式情報で確認してください。
出典:arXiv「思考の木:大規模言語モデルによる意図的な問題解決」(2023年5月17日提出、Shunyu Yao・Dian Yu・Jeffrey Zhao・Izhak Shafran・Thomas L. Griffiths・Yuan Cao・Karthik Narasimhan著)。連鎖の考え方の一般化、思考の単位での探索、先読みと後戻り、3課題での結果と24パズルの数値は同論文の要旨と本文の記載に基づきます。
本記事にはアフィリエイトリンクを含む場合があります。経由での申し込み時に当サイトが報酬を受け取ることがありますが、掲載内容・評価は報酬の有無に左右されません。記載情報は公開時点のものであり、最新情報は各公式サイトをご確認ください。
編集部の評価方法論を見る →