レイテンシ の用語ページの内容を、手を動かして定着させるためのチュートリアルです。手順どおりに進めると、定義を自分の言葉で説明できる状態まで到達できます。
「レイテンシ」が何を指すのか、最初の一文を自分の言葉で言い換えてみます。レイテンシは、利用者がAIに問いかけてから、その応答が得られるまでの「待ち時間」にあたる指標です。— この一文を土台にすると外れません。
レイテンシは、次の2つの指標で考慮されます。この節を読み、仕組みの該当部分をページで確認しましょう。
モデルの規模:一般的に、規模が大きいほど処理に時間がかかる傾向があります出力の長さ:生成するトークンが多いほど、完了までの時間は長くなります処理環境:計算資源や混雑状況によっても所要時間は変化します同じ入力でも、これらの条件によってレイテンシは変動します。この節を読み、仕組みの該当部分をページで確認しましょう。
レイテンシが大きいと、対話のテンポが悪くなり、利用者は待たされていると感じます。この節を読み、仕組みの該当部分をページで確認しましょう。
プロンプト集の型を使って「レイテンシ」を誰かに説明する文章を書いてみます。最後に「まとめ」(レ…)と突き合わせて不足を補います。