レイテンシ— 読み：れいてんし
レイテンシ（latency）とは、 モデルが入力プロンプトを処理してレスポンスを生成するまでにかかる時間 です。本記事では、2つの指標、体験への影響、よくある誤解を解説します。
導入Introduction
レイテンシ（latency）とは、 モデルが入力プロンプトを処理してレスポンスを生成するまでにかかる時間 です。本記事では、2つの指標、体験への影響、よくある誤解を解説します。
用語の定義Definition
レイテンシ（latency）とは、 モデルが入力プロンプトを処理してレスポンスを生成するまでにかかる時間 です。本記事では、2つの指標、体験への影響、よくある誤解を解説します。
レイテンシは、利用者がAIに問いかけてから、その応答が得られるまでの「待ち時間」にあたる指標です。同じモデルでも、入力の長さや出力の長さによって体感される待ち時間は変わります。応答の速さは、利用体験の快適さを左右する重要な要素です。
レイテンシは単一の数値としてではなく、複数の観点で捉えると理解しやすくなります。
出典：my-best.ai 用語辞典「レイテンシ」（https://my-best.ai/ai-dictionary/latency/）
仕組み・原理How it works
2つの指標：TTFTとTTLT
レイテンシは、次の2つの指標で考慮されます。
| 指標 | 内容 |
|---|---|
| 最初のトークンまでの時間（TTFT） | モデルがプロンプトを受け取ってから、レスポンスの最初のトークンを生成するまでにかかる時間 |
| 最後のトークンまでの時間（TTLT） | モデルがプロンプトを処理して、完全なレスポンスを生成するまでにかかる合計時間 |
TTFTは「反応の速さ」、TTLTは「応答が終わるまでの総時間」と捉えると分かりやすいです。利用者が待たされていると感じやすいのは、主に最初の応答が現れるまでの時間です。
レイテンシを左右する要因
- モデルの規模：一般的に、規模が大きいほど処理に時間がかかる傾向があります
- 出力の長さ：生成するトークンが多いほど、完了までの時間は長くなります
- 処理環境：計算資源や混雑状況によっても所要時間は変化します
同じ入力でも、これらの条件によってレイテンシは変動します。処理をクラウドで行うクラウドAIでは、実行環境の条件も待ち時間に関わります。
体験への影響と改善の考え方
レイテンシが大きいと、対話のテンポが悪くなり、利用者は待たされていると感じます。特に会話形式の利用では、最初の応答が早く現れることが快適さにつながります。逆に、応答の質を高めるために時間がかかる場合もあります。
そのため、求める品質と許容できる待ち時間のバランスを考えて設計することが重要です。処理の仕組みについては、推論の項目も参考になります。
レイテンシと品質のバランス
応答を速くしようとすると、扱える情報量や生成できる内容が制限される場合があります。逆に、じっくり処理すれば品質は上がりやすくなりますが、待ち時間は長くなります。
どちらを優先するかは用途によります。短いやり取りを重ねる対話では速さが、じっくり検討する文章作成では内容の充実が重視されるなど、目的に応じて最適なバランスは変わります。利用者が何を求める場面かを考えて設計することが大切です。
よくある誤解
誤解：レイテンシは1つの数値で表せる
実際は：最初のトークンまでの時間（TTFT）と最後のトークンまでの時間（TTLT）を分けて考える必要があります。体感に効くのは主にTTFTです。
誤解：速ければ速いほど常に良い
実際は：応答の速さと内容の質はトレードオフになることがあります。用途に応じたバランスが大切です。
誤解：レイテンシはハードウェアだけで決まる
実際は：モデルの規模や出力の長さ、処理環境など、複数の要因が影響します。
原始出處Origin
本項の定義・解説は、my-best.ai 用語辞典の同項目記事（編集部執筆）を底本に再構成したものです。初出時期や命名者について確立した一次資料が本文中に明記されていない場合は、推測での記載を見送っています。
応用シーンUse cases
基礎の理解
レイテンシ の定義と位置づけを押さえ、AI 関連の資料や記事を正確に読み解く土台にします。
情報の照合
ニュースや製品紹介で レイテンシ に触れたとき、本ページの定義と突き合わせて過不足なく理解できます。
導入・検討の第一歩
関連するチュートリアルで手を動かしながら、自社の業務への適用可否を検討できます。
メリット・デメリットPros & Cons
メリット
- そのため、求める品質と許容できる待ち時間のバランスを考えて設計することが重要です
- 応答を速くしようとすると、扱える情報量や生成できる内容が制限される場合があります
- Q.レイテンシが大きいと何が問題ですか？A.対話のテンポが悪くなり、利用者の満足度が下がる可能性があります
デメリット・注意点
- 誤解：レイテンシは1つの数値で表せる実際は：最初のトークンまでの時間（TTFT）と最後のトークンまでの時間（TTLT）を分けて考える必要があります
よくある誤解Misconceptions
関連用語Related terms
用語同士は相互リンクされています。
プロンプト集Prompt collection
理解を定着させるためのプロンプト例です。コピーして〔 〕内を置き換えてご利用ください。
理解を深める質問
前提知識なしで概念を掴む
あなたは AI 教育の講師です。「レイテンシ」を、AI に詳しくない日本の社会人にも分かるように説明してください。専門用語を使った場合は、その直後に噛み砕いた言い換えを添えてください。最後に要点を 3 行でまとめてください。
整理・比較
関連用語との違いを表で整理する
「レイテンシ」について、①定義 ②仕組み ③代表的な活用例 ④よくある誤解 を見出し付きで整理してください。同じ分野の類似用語があれば、その違いを表形式で示してください。
実務への検討
自社業務への適用を検討する
「レイテンシ」を〔業種・業務〕で活用する場合に期待できる効果と注意点を、それぞれ 3 つずつ提案してください。判断の前提条件や、確認すべき事実があれば明示してください。
FAQ（よくある質問）FAQ
レイテンシとは、一言でいうと何ですか？
レイテンシのポイントはどこですか？
レイテンシを扱うときの注意点は？
出典・参考文献References
定義の記述は my-best.ai 用語辞典（編集部執筆）に基づきます。リンク先の内容は公開時点のものです。
まとめSummary
レイテンシ（latency）とは、モデルが入力プロンプトを処理してレスポンスを生成するまでにかかる時間です。
- まず「レイテンシ」の定義を自分の言葉で言い換えられるようにする
- 関連用語との違いを「関連用語」セクションから確認する
- プロンプト集の型を使って、理解した内容をアウトプットで確認する