AIが「知らないもの」を堂々と描き間違える——その弱点を数字で暴いた論文が公開された

画像を生成するAIには、はっきりした弱点がある。学習を終えた後に世へ出た新キャラクターや最新の出来事など、「知らないもの」を頼まれると、それらしく、しかし堂々と間違えて描く。この弱点を2万件超のテストで測り、直し方の道筋まで示した論文が、7月6日にarXivで公開された。9日には第3版へ改訂されている。

要点

画像生成AIは、知らない対象を「もっともらしく捏造」する。原因は、固定データで一度学習するのに、描かされる対象は無限に増え続けるという構造的なズレにある
研究チームは失敗のしかたを12種類・22分野に分け、合わせて2万839件のテスト集を作成した。最新の公開モデルでも100点満点で21〜28点しか取れなかった
「じゃあ検索させればいい」は単純には効かない。何でも検索するとAIが元から描けるものにまでノイズが混ざり、かえって悪化する
カギは「AIが自力で覚えられる範囲」と「外から補うべき範囲」の境界線。これを訓練であぶり出す方法を提案した

絵は上手いのに、知らないものは平気で捏造する

論文の出発点はシンプルな観察だ。今の画像生成AIは、描く技術そのものは非常に高い。だが「何を描くか」の知識が、学習した時点で止まっている。

例える。腕は一流だが、去年から無人島で暮らしていたイラストレーターを想像してほしい。「今年話題のあのキャラを描いて」と頼むと、その人は「知りません」とは言わない。手が勝手に動き、それらしい絵を自信満々に仕上げる——でも、実物とは似ていない。AIも同じで、「知らない」と黙る代わりに、それっぽい嘘を描く。

論文はこれを構造的な問題と呼ぶ。AIは固定されたデータで一度学習したら、中身は更新されない。一方で頼まれる対象は、新キャラ、流行りの物、学習後に起きた出来事と、無限に増え続ける。器が固定なのに中身が増え続けるのだから、こぼれるのは当然だ、というわけだ。

2万件のテストで、優等生が赤点を取った

チームはこの「こぼれ」を可視化するため、SearchGen-Benchというテスト集を作った。失敗のしかたを12種類、対象分野を22に分け、合わせて2万839件の課題を用意している。

結果は厳しい。最新の公開モデルでも、100点満点で21〜28点。しかも論文は、この赤点が「既存のテストでは見えなかった」と指摘する。普段使われている評価のものさしでは、40点分もの崩壊が隠れていた、という。

体感するために言い換える。学校の普通のテストではそこそこ点を取る生徒が、出題範囲を差し替えた途端に軒並み赤点を取った——それに近い。テストの作り方次第で、AIの弱点は見えたり隠れたりする。

ひとつ補足しておく。ここで測られたのは、誰でも中身を使える「公開モデル」だ。中身が非公開の商用最強モデルが同じ点になるとは限らない。

「検索させればいい」がうまくいかない理由

弱点が知識にあるなら、足りない情報をネット検索で補えばいい——これは自然な発想で、論文も「エージェント的な画像生成」としてこの方向を検討している。ところが、素朴に検索させると失敗した。

理由は「何でもかんでも検索してしまう」から。AIが元から正しく描けるものにまで、外から拾ってきた情報が混ざり込み、ノイズになって出力を濁す。

もう一つ例える。オムレツ作りが得意な料理人がいる。腕は確かだ。そこへ、あなたが親切心から、何を作るときも大量のレシピ印刷物を横から差し出し続ける。オムレツを焼くときにまで、だ。料理人は要らない紙に気を取られ、得意なはずのオムレツまで下手になる。素朴な検索は、これをやってしまう。

カギは「調べるべきか、もう覚えているか」の線引き

論文が突き止めた核心は、AIごとに「自分で覚えられる範囲」と「外から補うべき範囲」を分ける境界線がある、という点だ。境界の内側なら検索は不要、外側なら検索が要る。しかもこの線は、そのAIをさらに訓練すると内側へ動く。覚えたぶんだけ、検索に頼らずに済むようになる。

問題は、この線を最初から地図に引けないことだ。そこでチームは、まず教えて（teach）、それでも覚えきれなかったぶんだけ検索させる（search）、という二段構えの訓練法を提案した。人間でいえば、試験前にまず暗記し、どうしても頭に入らない項目だけを持ち込みメモに書く、あの割り切りに近い。

この方法は、最小構成でも成績が一方向に伸び続けた、と報告されている。著者らはこれを、画像生成AIが自分で自分を改良していくための土台になる、と位置づけている。

コラム：これは「画像版RAG」の号砲かもしれない

ここからは筆者の読みだ。

この論文の面白さは、文章AIの世界で数年前から積み上げられてきた議論を、画像の世界へきれいに移植したところにある。憶測で言っているのではないので、元になった研究を挙げておく。

2023年に公開されたある研究（Mallen et al., 2023）は、PopQAという問題集を使って、文章AIには明確な傾向があることを示した。みんながよく話題にする有名な事柄はよく覚えているのに、マイナーな（ロングテールな）事柄になると途端に弱くなる、という傾向だ。重要なのはその先だった。足りない知識を外部検索で補うと、マイナーな事柄では大きく助かる一方で、AIが元から知っている有名な事柄では、検索がかえって邪魔をして精度を下げることがある——と報告されている。だから彼らは「必要なときだけ検索する」方式を提案した。

同じ年、別のチームはAI自身に「いま検索すべきか、自分の記憶で答えるべきか」を判断させて生成するSelf-RAGという仕組みを出している（Asai et al., 2023）。無差別に文書を取りにいくと、検索の要らない場面でも出力品質が落ちる、という問題意識だ。

三つ並べてみてほしい。ロングテールが弱点であること。無差別な検索はむしろ害になること。だから「どこまで自力で、どこから外部か」の線を引くべきこと。今回の画像論文が言っているのは、文章の世界で数年かけて固まったこの見取り図を、画像生成でゼロから引き直した、ということだ。

そしてもう一つ、この話は普段のAI報道の見え方も変える。

私たちがニュースで耳にするAIの優秀さは、ほぼ全部が「テストで何点だった」という数字だ。どのテストで、何を出題して測ったのか——そこまで説明されることは、まずない。だから私たちは点数だけを見て、「賢いAIができた」と受け取っている。今回の論文が突きつけるのは、出題範囲をロングテール寄りに変えただけで、その優等生が21〜28点まで崩れた、という事実だ。点数は本物でも、それは「そのテストでの点数」でしかない。ここは、AIの中身を追いかけていない人ほど、覚えておいて損はない。

とはいえ、同じ刃はこの論文自身にも向く。テスト集を作ったのは研究チーム自身だ。自分が解こうとする弱点を、自分の作ったテストで暴いて見せた——その構図は否定できない。都合のよい土俵で好成績が出ているだけ、という可能性を、今の段階で消す材料は手元にない。

だからこそ、次に見たいのは実データでの数字だ。研究者が設計した課題ではなく、実際のユーザーが投げてくる雑多な注文——最新のキャラを描いて、今週のあの出来事を絵にして——に対して、この「教えてから検索する」やり方は本当に伸び続けるのか。第三者が作った独立のベンチマークで、同じ右肩上がりが再現されるのか。そこが確かめられたとき、この論文は「面白い提案」から「効く手法」に変わる。正直、その数字を見てみたい。

出典

Search Beyond What Can Be Taught: Evolving the Knowledge Boundary in Agentic Visual Generation — arXiv（arXiv:2607.05382、2026年7月6日投稿／9日v3改訂、cs.CV / cs.AI、CC BY 4.0）
https://arxiv.org/abs/2607.05382