投機的デコーディングは、効果が出る場面と出ない場面の差が大きい手法です。導入の判断のために、現状の生成の速さを測り、比較の条件を固めるまでを5つの手順にまとめます。
サービスで実際に流れる入力から10件選びます。答えの型が決まったものと、自由な文章のものを両方入れておくと、差が見えます。
最大トークン数を決めて、比較条件をそろえます。長さがばらけると速さの比較になりません。
1件あたりの生成時間を、同じ入力で複数回測って平均を取ります。回数は3回以上にしてください。結果は表に残します。
測定結果を、入力をなぞる系と自由な文章系に分けて見ます。ここに差があれば、投機的デコーディングの効き方も分かれる見込みです。
待ち時間の要求が厳しい用途が多いか、効果が出やすい型の文章が主かで判断します。判断の理由を1行で記録しておきます。
投機的デコーディング(Speculative Decoding) の定義・仕組み・出典・プロンプト集はこちら。
投機的デコーディング(Speculative Decoding) のページを開く →