
視覚言語モデル(VLM)とは、画像と言語を1つのモデルで扱い、画像への質問応答や説明文の生成を行うAIのことです。視覚エンコーダ・投影層・言語モデルの3要素と、論文で報告された評価結果を整理します。
読み方:しかくげんごもでる。視覚言語モデル(Vision-Language Model、VLM)とは、画像や図表といった視覚情報と言語を同じモデルで扱い、画像についての質問応答や説明文の生成を行うAIモデルの総称です。このページでは、定義、内部の3要素、論文で報告された数値、実務で注意すべき点を整理します。
学術論文では、視覚と言語を統合したモデルを「大規模マルチモーダルモデル(Large Multimodal Model)」と呼ぶことがあります。代表的な研究であるLLaVAの論文は、視覚エンコーダと大規模言語モデル(LLM)を接続し、エンドツーエンドで学習するモデルとして提案されています。画像を扱う部分と文章を扱う部分を別々に作り、後から接続するのではなく、1つのモデルとして学習させる点が特徴です。
画像は、そのままでは言語モデルが読めません。そこで視覚エンコーダが画像を数値の並びに変換し、投影層がそれを言語モデルが扱える形式に変換します。言語モデルは、変換された画像の情報と、利用者が書いた指示文をまとめて受け取り、文章を生成します。「この請求書の合計金額を読んで」といった依頼が成立するのは、この経路があるためです。
| 要素 | 役割 |
|---|---|
| 視覚エンコーダ | 画像を特徴量の並びに変換する。画像分類などで事前学習されたものが使われることが多い |
| 投影層 | 視覚の特徴量を、言語モデルが受け取れる埋め込みの空間に写す |
| 言語モデル | 画像の情報と指示文を合わせて読み、回答や説明文を生成する |
3つの部品をどう組み合わせるかは研究ごとに異なります。学習の手順も、視覚部分だけを先に学習する方法、指示データで全体を調整する方法など幅があります。
LLaVAの論文は、言語のみのGPT-4で生成した画像と言語の指示データを使い、指示に沿った応答を学習させる手法を報告しています。合成されたマルチモーダルの指示データでの評価では、GPT-4と比較して85.1%の相対スコアを得たと記載されています。ScienceQAで追加の調整を行った条件では、92.53%の正解率に達したと報告されています。いずれも論文著者による特定条件下の測定値であり、実務の精度をそのまま保証する数字ではありません。
問い合わせに添付されたスクリーンショットの内容を読む、帳票の項目を抜き出す、図表の傾向を言葉にする、といった用途が現実的です。人が目で確認する作業を置き換えるのではなく、下読みを作らせて人が確認する形にすると事故が減ります。細かい数字や小さな文字は読み違えることがあり、ハルシネーションと同じく、もっともらしい誤りが混ざる前提で運用してください。
画像の内容を言語モデルに渡す考え方は、マルチモーダルAIの解説でも扱っています。画像の特徴量を数値で扱う仕組みは埋め込み、モデルの土台はTransformerのページで確認できます。
画像を読ませる用途では、チャット型のツールから試すのが最短です。料金と利用条件は各サービスの公式情報で確認してください。
出典:arXiv「Visual Instruction Tuning(視覚指示による調整)」(2023年4月17日提出)。視覚エンコーダとLLMの接続、指示データの生成方法、85.1%・92.53%という評価値は同論文の記載に基づきます。
本記事にはアフィリエイトリンクを含む場合があります。経由での申し込み時に当サイトが報酬を受け取ることがありますが、掲載内容・評価は報酬の有無に左右されません。記載情報は公開時点のものであり、最新情報は各公式サイトをご確認ください。
編集部の評価方法論を見る →