8Bが32Bを追い越したSQLエージェント、サンドボックスの試錯が効いた

香港科技大学とMicrosoft系チームが、実データベース上で多ターンの対話を通じてSQLを組み立てる訓練枠組み「HarnessSQL」を公開した。8Bモデルの実行精度はSpider 2.0-SQLiteで45.2%。32BのSQL専用モデル群（14.8〜16.3%）の約3倍で、14Bに拡張すると54.8%に達した。

一発で答えを出す訓練の限界

従来のText-to-SQLは、質問文と静的なSchemaを与えて最終SQLを1回で生成する方式が中心だった。だが実務のデータベースは表が百を超え、項目は数千に及ぶ。熟練の分析者は表の一覧を確認し、DDLを見て、試しのクエリを走らせ、報錯を読みながら直す。この探索の過程そのものが学習から抜け落ちていた。

その結果、Spider 2.0やBIRD-Interactといった長距離対話型の評価で、静的学習のモデルは環境に放り出されると迷走する。エラーへの対処も状態の追跡も持たないため、停止条件を満たせずループに陥る。訓練と実行の環境がずれる「Train-Deploy Mismatch」が難所とされた。

沙盒と4つの動作だけの契約

チームはSpider 2.0を基に79個の複雑なデータベース沙盒（サンドボックス）を構築した。読み取り専用の制約、単文制限、60秒のタイムアウトを備え、品質は変異テストで担保する。エージェントに許す動作は4つに絞った。表の一覧取得、Schemaの確認、読み取り専用クエリの実行、最終提出である。汎用のシェル操作を剥がし、注意の散漫を防ぐ意図がある。

訓練は2段階だ。教師モデルが沙盒内で自ら探索した合格軌跡（平均1.18万トークン、16ターン、14回の実行）で全軌跡の教師あり学習を行い、次に実行結果の等価性を報酬とする強化学習（DAPO）で磨く。環境の観測トークンは損失計算から外し、モデル自身の判断にだけ勾配を通す。

未見のBIRD-Interact MiniとLiveSQLBenchでも差は保たれ、LiveSQLBenchでは8Bが24.8%、14Bが28.5%に対し、32B系の基線は7.0〜8.9%にとどまった。Schemaの暗記ではなく、探索の型を学んだことを示す結果だ。

分解して見えた要因

消去法の結果が示唆的である。8Bの基線から強化学習だけ始めると20.0%と伸びは小さい。合格軌跡の教師あり学習で30.4%まで上がり、さらに強化学習で45.2%に届く。環境との対話の型を先に教え、その上で試錯に最適化する順序が効いた。逆に、対話環境で使うモデルを非対話データで学習させると9.6%まで落ち、基線を割った。文脈長も8Kから32Kへ延ばすと27.4%から45.2%へ跳ね、途中履歴の保全が探索の出発点になることを裏付けた。

強化学習の算法比較では、GRPOが40.7%、GSPOが43.7%に対しDAPOが45.2%と最も良好だった。報錯や超時は全て0点という疎な報酬では、振動を抑える設計の差がそのまま成績に出る。

よくある質問

Q. 従来のText-to-SQLの弱点は何か。
静的なSchemaから一発で最終SQLを出す訓練しかしてこなかった点。実行環境での探索、状態の追跡、エラーからの回復が学べておらず、実環境で迷走しやすかった。

Q. なぜ8Bが32Bに勝てたのか。
訓練と実行の環境を揃えたこと。サンドボックス内でツールを呼び、報錯を踏み、修正する多ターン軌跡で学習した結果、小規模モデルでも探索の型が身に付いた。

Q. コードは公開されているのか。
論文とコード、沙盒環境、合成軌跡が公開されている。SQLite系が中心で、SnowflakeやBigQueryなどの方言への拡張は今後の課題とされる。

編集部の見解

同じ8Bでも、環境を合わせた訓練だけで3倍の精度差が出るのは、モデルの大きさより「経験の与え方」が効いている証拠だ。企業内データ分析でエージェント導入が進む日本の現場にとって、手元の実環境に近い沙盒を用意してから微調整する順序が、モデルの買い替えより安価な改善になる可能性がある。方言対応が進めば、実務適用の速度はさらに上がるだろう。

my-best.ai 編集部

出典：36Kr「8Bが32Bに逆襲、実データベース向けの長距離対話型SQLエージェント枠組みを初めて公開」（寄稿：新智元、2026年11月02日）

あわせて読みたい

• 27年間の前提が崩れた、AIの証明が理論計算機科学を揺らす
• 1つのニューロンを回すと人格が変わる、LLM内部探索の熱
• レクン論文の「1億900万が720億を超えた」、物差しは別物だった

本日の36Kr AI版の記事を日本語で整理したものです。最新記事の一覧から他のニュースも読めます。