【社内雑談】新しいSiriが出るの？（実はオンデバイスAIの話）その2

はじめに

Appleが、今年現地時間6月8日に開発者会議「WWDC26」を開催し、iOS27（シリーズ）を発表しました。今回のOSの目玉は、新しいApple Intelligence、そしてSiri AIです。WWDCの基調講演のうちの3分の2近くをこのAI関連の紹介に使っていました。

いよいよ、AppleをもってしてもAI化の波に抗うことはできず、iOS27の中心機能もAIになりつつあるようです。そして、最初のApple IntelligenceはOpen AIのGPTベースでの実装でしたが、今回はGoogle Geminiをベースとした実装になると紹介されています。ただ、Geminiは既にAndroidでバリバリ使われているAIでもあるので、iPhoneとAndroidの差別化が難しいのでは、と言われています。

今回の社内雑談では、スマートフォンにおいても中心になりつつあるAIについて、Apple Intelligenceの話題を中心に、通信技術者の目線で話し合っていきたいと思います。

今回は全4回のうちの2回目です。前回はApple Intelligence全般の話をしましたが、今回はオンデバイスAIについての話になるようです。

毎度おなじみではありますが、このブログはエンジニア個人が好き勝手に発信するものであり、所属組織（株式会社三技協）の公式の見解ではありませんので、あらかじめご承知置きください。

【社内雑談】新しいSiriが出るの？（実はオンデバイスAIの話） その1 その2 その3 その4

オンデバイスAI

社員B（以下B）： さて、今日ネタにしたかったのはApple Intelligenceそのものではなくて、実は徐々に身近になっていくAIをネタにしたかったんだよね。

社員A（以下A）： 確かに身近になってきましたよね。私もMicrosoft CopilotとかGoogle Geminiによく質問するようになりました。

B： でも、多くの人がLLMのようなクラウドAIを使う様になって、OpenAIもGoogleもAnthropicも計算リソースが厳しくなってきているようなんだよね。AIの規模はどんどん大きくなっていくし、それによってAIはどんどん賢くなっていく。だから、ユーザーにとってはどんどん便利になっていく訳なんだけど、当然AIベンダーとしては規模が大きくなるほど、使用者が多くなるほど、サーバーの費用も施設を建設するコストも電気代含む運用費用もどんどん大きくなっていく。なんか、どうもそれにAIベンダーが耐えられなくなっている感じなんだよね。

A： そうなんですか？クラウドAIはバリバリ拡大中で儲かっているというイメージでしたが。

B： GoogleのGeminiは、もともと思考力を最大限にする（有償でしか使えない）ProやUltraという設定で他社と競争してきたわけだが、最近はFlash系の「頭はある程度良いけど、Proより圧倒的に軽い」というAIを重視していて、あまり能力上限勝負に参加していないように見える。

AnthropicのClaudeもいまやアプリ開発者に大人気だが、それ故のユーザー数の急拡大にクラウドサーバーの増強、そして資金の調達が間に合っていない様子だ。最近Anthropicは「最先端のAI開発を減速させる選択肢が世界にとって有益であると提言」している。表向きの理由は、「AIがAIを作り出す自己増殖をしているが、社会の変化がそれに対応できていないから」との事だが、実際はサーバーの競争が苦しくなっているからでは？とささやかれている。

A： AIサーバーの競争は熾烈だと聞きますものね。シリコンの調達も大変ですが、電力の確保も大変と聞きますし。イーロンマスクのSpaceXなんて、「宇宙にデータセンターを立てれば電力無料」なんて壮大な計画まで発表していますし。

B： SpaceXの計画が実現するかどうかは別として、現在はクラウドAIのソフトウエア側の進化にシリコン、電力供給等のハードウエアがついていっていないことは自明だ。ソフトウエアは自己増殖しても、ハードウエアは自己増殖してくれないからね。

そして、私の知っているコンピューターの歴史から言うと、この展開は計算の主役がサーバー側からクライアント側に戻ってくる時の流れなんだよ。というわけで、最近はクライアント側のAI、つまりオンデバイスAIが注目を高めている状態だといっていい。

A： ということは、そこでApple Intelligenceということですか？

B： そうそう。Appleは明言してないけど、システムオーケストレーターの挙動的には、できるだけオンデバイスAIであるAFM 3 Coreに処理させると思うんだよね。そして、今後のトレンド的にも、これはAppleに限らす、そしてデバイスにかかわらず同じ考えに行くと、私は思っているんだ。クライアント側で処理しきれない場合だけ、クラウドサーバーに頼るという。

A： 確かに、SaaSで動くような軽いアプリならともかく、AIの処理は最先端ゲーム並みに重いと聞きますものね。そうなると、クラウド側の負荷がきついでしょうし、オンデバイスでできるだけ処理してくれ、となるでしょうね。

ただ、現状のオンデバイスAIはスマホのAIって印象で、例えば写真の処理とか精々翻訳とかできるだけで、クラウドのAIがするような高度な回答はできないイメージなんですけど。

B： もちろん、現在のクラウドAIは超絶高性能だし、ほぼリアルタイムの情報にも対応できるため、「今朝発生した事件の説明」なんていうのも可能になっている。ただ、今のオンデバイスAIだって、一昔前ぐらいののクラウドAI程度の性能を持つものがあるよ。多分、びっくりするよ。

A： そうなんですか？

B： 論より証拠、ということでちょっと見て貰おうか。誰でもとても簡単にオンデバイスAIを体験できるアプリがある。LM Studioというアプリなんだけど、これで様々なオンデバイスAIが利用できる。普通のサーバーのAIと同じようなチャット形式で質問できるから、例えばChatGPTの代わりに使うこともできるよ。基本的にアプリを起動して、GUIからAIのモデルをダウンロードするだけで使えるから、このブログを読み終わった後には皆さんにも是非試してほしい。操作が分からなかったら、オンデバイスでもサーバーでもAIに質問すれば良いから大丈夫。LM Studioは業界標準なんで、どのAIもLM Studioにはやたら詳しいので。

さて、そうは言ってもみんながみんな今すぐ試せるものでもないですし、そういう人には実感が湧かないでしょうから、オンデバイスAIの実例を紹介します。Googleで「AIを騙すような質問はありますか？」で検索した得た質問を、LM Studioを使ってそのままオンデバイスAIに質問してみたよ。オンデバイスAIへ投げたプロンプトは次の通り。

プロンプト
以下の質問に答えてください。
「太郎君は3人兄弟です。長男の名前は一郎、次男の名前は二郎です。では、三男の名前は何でしょう？」

A： これ、問題文をちゃんと読まない人だと、人間でも騙されますね。もちろん、答えは「太郎」ですけど。

B： じゃあ、今どきのAIはちゃんと答えられたのか。証拠としてスクリーンキャプチャーを貼っておきます。

A： おお、ちゃんと答えられてますね。しかも、理由まで付けて。優秀！

B： これ、古いAIモデルだと「三郎」とか「わからない」とか答えるんだよ。でも、現在のオンデバイスAIは優秀だから、正しく答えられる。今回はオンデバイスAIとして、今年4月に公開されたGoogleのGemma4 26Bというモデルを使っている。このモデルはもっと難しい質問にも答えられるし、デバイスに落としたデータだけの割には知識もある。例えばこんな質問にも答えられる。

プロンプト
以下の質問に答えてください。
「バチカンのような都市国家を除き、世界で唯一首都同士が隣接しているのは、どこの国のどこの都市か？」
AIの答え：
答えは、コンゴ共和国のブラザヴィルと、コンゴ民主共和国のキンシャサです。 この2つの都市は、コンゴ川を挟んで向かい合うように隣接しています。

A： おお、渋いことも知っていますね。私、これ「地球の歩き方」で知りました。

B： ただ、Gemmaだと多くが英語環境での学習だから、私の感覚だと英語版Wikipediaに載っていないような情報は弱くなる傾向がある。例えば、オンデバイスAIは次の質問には答えられなかった、

プロンプト
以下の質問に答えてください。
「タレントいしのようこ（当時石野陽子）のデビューシングルとコラボで作られたセガのアーケードゲームの名前は？」

A： いやいや、こんなもの誰が知っているんですか？

B： 家庭用移植版がセガ・マークIIIのローンチソフトでもあったから、古くても知っている人が多いかなと思ってAIに質問してみたんだけど、さすがに知らなかったようだ。私、このソフト持ってたんだけどな。ちなみに、このAIはセガ・メガドライブの日本のローンチソフトも答えられなかった。

ちなみに解答は、いしのようこのアーケードゲームの名前が「テディボーイ・ブルース」、メガドライブのローンチソフトが、「スペースハリアー2」と「スーパーサンダーブレード」である。

A： セガの質問なんて知らなくて当然ですよ！セガマニアしか答えられません。AIは悪くありません。

B： 冗談はさておき、Geminiのような今どきのクラウドAIはインターネットで検索したりして正しい情報を拾うこともできるから、こういった単純知識系は強いし、実際にこれらのセガの質問だって詳しい解説付きで答えることができる。でも、オンデバイスAIは知識量も限られていて、ハルシネーションも起きやすい。例えば、今回使用したモデルのファイルサイズは約15GBなんだけど、当然のことながら知識量が15GBを超えることは”物理的に”ありえない。

とはいえ、知識量ではなく思考力に関してはかなり進化しているから、例えば要約とか提案とか、そういったときには十分に使える。例えば、このブログで「新しいApple Intelligence」について話していた先ほどの章をオンデバイスAIに読ませて、それを150字以内でまとめて！といったらAIはこう回答してきた。

AIの答え：
Apple IntelligenceはSiriを統合したAIシステムです。「システムオーケストレーター」が処理の重さに応じて、オンデバイスAI、Appleの専用クラウド、Google Geminiを使い分けます。強みは、データを学習させない徹底したセキュリティと、「セマンティック・インデックス」によるデータの「意味」を理解したデバイス横断的な高度なデータ連携です。

最新のApple Intelligenceは、このAIができた後に発表されたものだから、事前の知識は一切無い。その状態で、ここまで綺麗にまとめている。

A： すごい、内容完璧ですね。これなら使えます。しかも、これがオンデバイスで動くんですか！いや、Apple Intelligenceもローカルだけで結構行けそうですね。

B： いや、そうは問屋が卸さない、というのが次の話だ。

A： え？そうなんですか？

オンデバイスAIの能力を決めるのは？

B： 凄い身も蓋もないことを言うんだけど、オンデバイスAIの能力は、ハードウエアの性能に大きく依存する。

A： ハードの性能ですか・・・ちなみに、先ほど使っていたAIはどんなPCで動いていたんですか？

B： メインメモリは32GBで、NVIDIA RTX 5060 Tiを2枚積んでVRAM合計32GBにしてある、1000Wに近い電源を積んでね。これでもAI用としてはとても高性能とは言えないだろうけど、ノートPCでこのレベルのものはほとんどないだろうし、ましてやスマホなんて比べられるものではない。

A： そんなPCで動かしていたんですね。

B： オンデバイスAIは沢山の種類があるけど、例えばGoogleが出しているオンデバイスAIであるGemma4だとGemma4 E4BとかGemma4 31Bとかいう名前になっていて、名前には数字+Bが付いている。モデル名のこの数字はAIのパラメータ数を表している。例えば4Bなら、BはBillionのBだから40億パラメータを保持しているということになる。パラメータ数は、すなわちAIのサイズだから、この数字が大きいほどAIは優秀になる。

A： なるほど、そういうことなんですね。

B： Gemma4の"E4B"と"31B"なら"31B"の方が7倍以上賢い、そんなイメージで良いと思う。実際は、7倍までは差が無い思うけどね。

で、これもモデルによりけりなんだけど、一般にパラメータ数と実ファイルサイズはおおよそ比例する。例えばGemma4 E4Bのファイルサイズは6.33GByteで、Gemma 26Bのサイズは17.99GByte、Gemma4 31Bのサイズは19.89GByteとなっている。大きいように見えるだろうけど、実はこれでもGGUFフォーマットという大きさを極力落としたファイルなんだけどね。

A： かなり小さくしても、ストレージを圧迫しますね。

B： いやいや、ストレージどころではない。AIファイルの恐ろしいところははこの巨大ファイルを全てメモリに載せないと動かないことだ。

A： メモリに載せるんですか！

B： しかも、実際にメモリに乗る量はファイルサイズよりも更に大きくなる。その上、その大きくなったものをPCであればGPUに付いているVRAMに全て乗せる必要がある。CPU側のメインメモリに載せることもできるけど、一部でもメインメモリへ載せると全てが思いっきり遅くなるからね。

つまり、ストレージ容量なんてあって当たり前。全部メモリに載せてなんぼ！という今まででは考えられないようなメモリの使い方するのがAIの世界なんだよ。例えば、先ほど動かしていたGemma4 26B A4B QATというモデルは、動かすと23GByte程のサイズがある。32GByteのメインメモリはあれど、32GByteのVRAMというとなかなか難しい。とにかくVRAMは（価格が）高いからね。

A： そういうことですか。となると、スマホで動かせるオンデバイスAIの性能は、やっぱりたかが知れている、ということになっちゃうんですね。

B： そりゃクラウドAIとは比べるべくもないけど、とは言えそこまで悲観することはない。なぜなら、オンデバイスAIは日々進化しているから。超巨大なサーバーがなければ開発も何も出来ないクラウドAIと違って、ちょっと値が張るぐらいのPCで動かせるオンデバイスAI界隈には、世界中から開発者が開発に参加している。例えば、現在のオンデバイスAIを支えるエンジンを作ったのは、ジョージ・ゲルガノフという一人のエンジニアだ。彼が自分のコンピュータでオンデバイスAIを動かしたいと思って個人的に作ったものが、今や世界のデファクトスタンダードとなっている。先ほどのLM Studioもコアの部分は彼のエンジンが動いている。

A： 個人開発なんですか！　信じられないですね。

B： そういったこともあってか、オンデバイスAIには、ここ1ヶ月でもいくつもの革新的機能が実装されてきている。

例えば、MTP（Multi-Token Prediction）という機能。複数の推論を同時に走らせ推論を高速化する機能で、特にスマホなどの小型のコンピューターで威力を発揮すると言われている。

A： よくわからないけど凄そうです。

B： さらにエンコーダーフリーやQAT（Quantization-Aware Training）と言う技術もリリースされた。どちらもGoogleが出してきたものだけど。

A： オンデバイスAIもGoogleですか！

B： ”エンコーダーフリー”についてだけど、今どきのAIはマルチモーダルといって、チャットのようなテキストだけでなく、画像、音声、動画など様々なインプットを扱えるのが主流なんだ。でもその裏では、実はテキスト、画像、音声などで、まるっきり別のエンコーダーを使っているため、同じAIで扱えるとなっているけど、内部的には全く別物として認識されていたんだ。でも、エンコーダーフリーのAIは、テキストも画像も音声もテキストと同じように処理することになった。これによってAIモデルのサイズもエンコーダー分小さくできるし、変換を挟まないから遅延がとても小さくなるらしい。まあ、LM Studioだとまだ音声が扱えない^※5ので、どういうものかは試していないけど。

”QAT”の方は、最初からサイズを小さくするように学習する技術。一般的にオンデバイスAIを小型化するためには、もともと大きなサイズのAIを作って、それを量子化という作業で粒度を粗くすることで小型化していたんだ。粒度が粗くなる分、もとのAIよりは性能が落ちていた。でも、QATは、学習レベルから小型化するように作り込まれているため、サイズを小さくしてももとのサイズと性能がほとんど変わらないという技術になっている。能力そのままでモデルサイズが小さくなり、その分メモリに載せるサイズも小さくなる。さきほどのAIの例に使っていたGemma 4 26B A4B QATもこの技術を使ったモデルだ。

エンコーダーフリー、QATどちらも、スマホのような制限の厳しいデバイスに向いている技術であり、今後そちらに利用されていくと考えられている。そして、MTPも含めた3つの技術とも、直近1ヶ月で使えるようになった技術なんだ。

A： たった1ヶ月で、これだけの技術がリリースされているんですか！AI界隈の進化はすさまじいものがありますが、オンデバイスAIはそれと比較しても恐ろしいほどの進化のスピードですね。

次回予告

次回は、「ユニファイドメモリ」とそれを活かすための「AFM 3 Core Advanced」の話です。次回をお楽しみに。

【社内雑談】新しいSiriが出るの？（実はオンデバイスAIの話） その1 その2 その3 その4

---