スマホ操作AIは次の画面を言葉で予測。パナソニックが成功率を46.9%から54.3%へ

Windowsキーのあるキーボードのイメージ写真 生成AI
イメージ写真。記事で紹介する実機・画面ではありません。写真:Unsplash(配布ページ) / Unsplash License

この記事のポイント

  • 画面を画像で再現せず、操作後の重要な変化を自然言語で予測する
  • Androidの評価でタスク成功率が46.9%から54.3%へ上がった
  • 約140万件の学習データも構築したが、一般向け製品の発表ではない

2026年10月22日時点のパナソニックHD公式情報を整理した。画像はAI研究のイメージ写真で、操作画面ではない。

スマートフォンを操作するAIエージェント研究のイメージ写真
モバイルAIのイメージ写真。実際の画面ではない。写真:Unsplash配布ページ(利用許諾)。

パナソニックHDと米国R&D拠点、UCLAの研究者は、スマートフォン操作を助けるAI向けの「世界モデル」を開発した。世界モデルとは、ある操作の後に環境がどう変わるかを予測する仕組みである。

画面全体を画像として再現する代わりに、「ボタンを押すと設定画面が開く」といった重要な変化だけを言葉で予測する。時刻や通知など、操作に関係しない表示へ計算を使いすぎない狙いだ。

成功率は7.4ポイント上昇

AndroidWorldでの評価では、世界モデルなしの46.9%に対し、組み込み後は54.3%だった。学習用MobileWorldは画面変化の説明約94.2万件と質問・回答約54.3万件を含む。

まだ研究成果の段階

設備管理、在庫、作業記録など複数アプリをまたぐ現場業務への応用を目指すが、市販スマートフォンへ搭載する時期は発表されていない。

暮らしへの意味:将来、AIが操作候補の結果を先読みできれば、誤ったタップや途中停止を減らせる可能性がある。

出典・確認先

コメント

タイトルとURLをコピーしました