AI DICTIONARY

視覚言語モデル(Vision-Language Model)

  • 最終更新: 2026年11月16日
my-best.ai 編集部

my-best.ai 編集部

AIツール比較・レビュー編集チーム
視覚言語モデル(Vision-Language Model)

視覚言語モデル(VLM)とは、画像と言語を1つのモデルで扱い、画像への質問応答や説明文の生成を行うAIのことです。視覚エンコーダ・投影層・言語モデルの3要素と、論文で報告された評価結果を整理します。

読み方:しかくげんごもでる。視覚言語モデル(Vision-Language Model、VLM)とは、画像や図表といった視覚情報と言語を同じモデルで扱い、画像についての質問応答や説明文の生成を行うAIモデルの総称です。このページでは、定義、内部の3要素、論文で報告された数値、実務で注意すべき点を整理します。

用語の定義

学術論文では、視覚と言語を統合したモデルを「大規模マルチモーダルモデル(Large Multimodal Model)」と呼ぶことがあります。代表的な研究であるLLaVAの論文は、視覚エンコーダと大規模言語モデル(LLM)を接続し、エンドツーエンドで学習するモデルとして提案されています。画像を扱う部分と文章を扱う部分を別々に作り、後から接続するのではなく、1つのモデルとして学習させる点が特徴です。

わかりやすい説明

画像は、そのままでは言語モデルが読めません。そこで視覚エンコーダが画像を数値の並びに変換し、投影層がそれを言語モデルが扱える形式に変換します。言語モデルは、変換された画像の情報と、利用者が書いた指示文をまとめて受け取り、文章を生成します。「この請求書の合計金額を読んで」といった依頼が成立するのは、この経路があるためです。

内部の3つの要素

要素 役割
視覚エンコーダ 画像を特徴量の並びに変換する。画像分類などで事前学習されたものが使われることが多い
投影層 視覚の特徴量を、言語モデルが受け取れる埋め込みの空間に写す
言語モデル 画像の情報と指示文を合わせて読み、回答や説明文を生成する

3つの部品をどう組み合わせるかは研究ごとに異なります。学習の手順も、視覚部分だけを先に学習する方法、指示データで全体を調整する方法など幅があります。

論文で報告された評価

LLaVAの論文は、言語のみのGPT-4で生成した画像と言語の指示データを使い、指示に沿った応答を学習させる手法を報告しています。合成されたマルチモーダルの指示データでの評価では、GPT-4と比較して85.1%の相対スコアを得たと記載されています。ScienceQAで追加の調整を行った条件では、92.53%の正解率に達したと報告されています。いずれも論文著者による特定条件下の測定値であり、実務の精度をそのまま保証する数字ではありません。

実務での使いどころ

問い合わせに添付されたスクリーンショットの内容を読む、帳票の項目を抜き出す、図表の傾向を言葉にする、といった用途が現実的です。人が目で確認する作業を置き換えるのではなく、下読みを作らせて人が確認する形にすると事故が減ります。細かい数字や小さな文字は読み違えることがあり、ハルシネーションと同じく、もっともらしい誤りが混ざる前提で運用してください。

画像の内容を言語モデルに渡す考え方は、マルチモーダルAIの解説でも扱っています。画像の特徴量を数値で扱う仕組みは埋め込み、モデルの土台はTransformerのページで確認できます。

関連用語

関連ツール

画像を読ませる用途では、チャット型のツールから試すのが最短です。料金と利用条件は各サービスの公式情報で確認してください。

出典

出典:arXiv「Visual Instruction Tuning(視覚指示による調整)」(2023年4月17日提出)。視覚エンコーダとLLMの接続、指示データの生成方法、85.1%・92.53%という評価値は同論文の記載に基づきます。

用語を実際に使う練習には、次のまとめページも便利です。

チュートリアル一覧を開く →

プロンプト集(シーン別)を見る →

関連するAI用語辞典

関連チュートリアル

関連プロンプト

関連ツール

本記事にはアフィリエイトリンクを含む場合があります。経由での申し込み時に当サイトが報酬を受け取ることがありますが、掲載内容・評価は報酬の有無に左右されません。記載情報は公開時点のものであり、最新情報は各公式サイトをご確認ください。

編集部の評価方法論を見る →
週1回・無料

AEO診断・AIクローラー最新情報を、
週1回お届け

AI Botの仕様変更やAEO対策のノウハウ、よくあるトラブル事例を編集部が厳選しメール配信。いつでも配信停止可能です。

  • 新Bot・仕様変更AIクローラーに新しいBotが追加されたとき、判定仕様が変わったときの速報
  • 障害事例と対処AEO診断で多い障害事例と、その対処方法を実例で解説
  • AEO活用術Web制作会社・SEO担当者向けのAEO活用テクニック

登録により 利用規約に同意したとみなされます。確認メールのリンクを押すと登録が完了します。

My-Best.AI|AIツール比較・ランキング・おすすめ最新AI情報
Logo

AIクローラー辞典|254 種の Bot を User-Agent から引く

運営事業者・Safety 評価・ブロック時の SEO 影響・robots.txt のコード例まで、ボット単位で確認できます。

自社サイトの AEO 診断はこちら →