セマンティック検索は、何を「意味で」探したいのかが決まっていなければ効果を測れません。導入の前に、実際に集めている質問を仕分けし、どの部分を意味検索に任せるかを決めるところまでを5つの手順にまとめます。
社内の問い合わせ履歴、ヘルプデスクの記録など、実際に流れてきた質問を30件ほど書き出します。作り込みの前の実データが判断の材料になります。
型番、製品名、人名、日付など、語そのものが探したい対象の質問に印を付けます。ここは意味検索より一致検索が向きます。
残った質問の中から5件を選び、同じことを別の言葉で書いた例を1つずつ作ります。言い換えが多い質問ほど、意味検索の効果が出やすい部分です。
各質問に対して「これが見つかれば正解」となる文書を1つ決めます。ここが、導入後の評価の基準になります。
正解の決まった質問だけを使い、検索の結果が正解どおりになるかを数えて記録します。結果と判断の理由を1枚にまとめておきます。