Datalabが文書解析（OCR：光学文字認識）の評価基盤「OmniParseBench」を公開しました。16,288件の合否テストを2,937ページ・2,343文書に用意し、対象は92言語に及びます。データセットとコードは公開されています。
何を測るのか
1ページについて「はい／いいえ」で答えられる問いを並べ、合格した割合を点数にします。文字の出現、並び順、表のセル位置、見出しと本文の区別を、文字・表・レイアウトの3系統にまとめ、その平均を総合値とします。採点はモデルに判断させず、公開されたコードで機械的に行います。
公表された初期スコア
総合値はGemini 3.8 Flashが92.9、Datalab accurateが92.7、Datalab balancedが91.6と、上位3システムが1.3ポイント以内にひしめきます。項目別では差が出ます。Claude Sonnet 5.5は文字93.1と表95.4で最高になる一方、レイアウトが77.5にとどまり総合では88.7でした。レイアウトはReductoが95.8で最上位です。
使いどころ
「どのタグの問題を落としたか」を切り分けられるため、汎用の順位表より実務に近い判断ができます。請求書の表だけを扱うのか、多言語の手書きを扱うのかで、選ぶべき解析ツールは変わります。日本語を含む書類では、Google GeminiのようなクラウドAPIと、LlamaIndexなどで組む自前のパイプラインを、実データで比べるのが確実です。
編集部の見解
評価の観点が「何点か」から「どの条件で落ちるか」へ移っている点は、導入判断の実務に直結します。文書解析は得意な書式と苦手な書式の差が大きい領域だからです。日本の現場では、縦書きや社判、手書きの混在など、公開ベンチマークが想定しにくい要素が残ります。総合スコアで候補を絞ったうえで、自社の書類で確かめる二段構えをおすすめします。
my-best.ai 編集部
最新のAI情報をメールで受け取る
新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。
ご登録後、確認メールをお送りします。配信停止はいつでも可能です。