リランキングは、前段の検索が拾えている前提で効きます。入れる前に、候補のなかに正解が入っているかを測っておくと、効果が出ないときに原因を切り分けられます。ここでは、質問を用意し、候補を数え、導入の可否を決めるまでを5つの手順にまとめます。
実際の検索窓から、うまくいっていない質問を10件選びます。似た質問ばかりにならないよう、短い質問と長い質問を混ぜてください。
各質問について、上位に出てほしい文書を1件決めます。正解が決められない質問は、この検証から外します。
一次検索だけで上位50件を出し、正解が入った件数を数えます。ここが低いと、リランキングでは改善しません。
候補に正解がない質問について、文書の分割が大きすぎないか、表記の揺れで落ちていないかを確認します。
候補に正解が入る質問が大半なら、リランキングを入れて上位5件の変化を見ます。入らない質問が多ければ、先に分割と索引を直します。