ビーム探索の設定は、変えても違いが分かりにくい項目です。原文と条件を固定し、ビーム幅だけを動かして読み比べると、どこで効いてどこで効かないかが見えます。
長さと難しさがばらばらの原文を5本用意します。1本だけだと、たまたま合ったのか判断できません。原文は社外に出せるものを使います。
同じモデル、同じ指示文、同じ最大長で揃えます。指示文を記事ごとに書き換えると、差がどこから来たのか分からなくなります。
小さい値、中間、大きい値の3段階で、5本×3回を生成します。結果は原文ごとに並べて保存します。
原文にない情報の追加、情報の抜け、同じ言い回しの繰り返しを、それぞれ別の列で数えます。1つの点数にしてしまうと、どの幅が良いかを判断できません。
数えた結果から幅を1つ選び、選んだ理由を1行で書きます。「大きいほうが良さそう」ではなく、どの項目がどう変わったかを根拠にします。