レイテンシ

レイテンシ（latency）とは、モデルが入力プロンプトを処理してレスポンスを生成するまでにかかる時間です。本記事では、2つの指標、体験への影響、よくある誤解を解説します。

レイテンシとは（意味・定義）

レイテンシは、利用者がAIに問いかけてから、その応答が得られるまでの「待ち時間」にあたる指標です。同じモデルでも、入力の長さや出力の長さによって体感される待ち時間は変わります。応答の速さは、利用体験の快適さを左右する重要な要素です。

レイテンシは単一の数値としてではなく、複数の観点で捉えると理解しやすくなります。

2つの指標：TTFTとTTLT

レイテンシは、次の2つの指標で考慮されます。

TTFTは「反応の速さ」、TTLTは「応答が終わるまでの総時間」と捉えると分かりやすいです。利用者が待たされていると感じやすいのは、主に最初の応答が現れるまでの時間です。

レイテンシを左右する要因

• モデルの規模：一般的に、規模が大きいほど処理に時間がかかる傾向があります
• 出力の長さ：生成するトークンが多いほど、完了までの時間は長くなります
• 処理環境：計算資源や混雑状況によっても所要時間は変化します

同じ入力でも、これらの条件によってレイテンシは変動します。処理をクラウドで行うクラウドAIでは、実行環境の条件も待ち時間に関わります。

体験への影響と改善の考え方

レイテンシが大きいと、対話のテンポが悪くなり、利用者は待たされていると感じます。特に会話形式の利用では、最初の応答が早く現れることが快適さにつながります。逆に、応答の質を高めるために時間がかかる場合もあります。

そのため、求める品質と許容できる待ち時間のバランスを考えて設計することが重要です。処理の仕組みについては、推論の項目も参考になります。

レイテンシと品質のバランス

応答を速くしようとすると、扱える情報量や生成できる内容が制限される場合があります。逆に、じっくり処理すれば品質は上がりやすくなりますが、待ち時間は長くなります。

どちらを優先するかは用途によります。短いやり取りを重ねる対話では速さが、じっくり検討する文章作成では内容の充実が重視されるなど、目的に応じて最適なバランスは変わります。利用者が何を求める場面かを考えて設計することが大切です。

よくある誤解

誤解：レイテンシは1つの数値で表せる

実際は：最初のトークンまでの時間（TTFT）と最後のトークンまでの時間（TTLT）を分けて考える必要があります。体感に効くのは主にTTFTです。

誤解：速ければ速いほど常に良い

実際は：応答の速さと内容の質はトレードオフになることがあります。用途に応じたバランスが大切です。

誤解：レイテンシはハードウェアだけで決まる

実際は：モデルの規模や出力の長さ、処理環境など、複数の要因が影響します。

FAQ（よくある質問）

Q. TTFTとTTLTのどちらを重視すべきですか？

A. 会話形式では、待たされている感覚に直結するTTFTが重視されやすいです。一方、長い文書の生成などではTTLTも重要になります。

Q. レイテンシを短くするにはどうすればよいですか？

A. 出力の長さを抑える、用途に合った規模のモデルを選ぶ、といった工夫が考えられます。品質とのバランスを見ながら調整します。

Q. レイテンシが大きいと何が問題ですか？

A. 対話のテンポが悪くなり、利用者の満足度が下がる可能性があります。特に応答が現れるまでの待ち時間が長いと、離脱につながりやすくなります。

関連用語

• 推論 — レイテンシが生じる処理の段階
• トークン — レイテンシの計測単位となる要素
• LLM（大規模言語モデル） — レイテンシが問題となる代表的なモデル

用語の一覧はAI用語辞典トップからたどれます。実際のツール比較はAIツール一覧をご覧ください。

参考出典

• Google Cloud「生成 AI の用語集」: docs.cloud.google.com
• Salesforce「AI用語虎の巻」: salesforce.com