AIが「遅い」のは、賢さゆえではなく設計の都合だった。
ChatGPTやGeminiを日常的に使う人なら、あの感覚に慣れているはずだ。返答が画面に流れ込んでくる、あのじわじわした動き。多くの人はAIが「考えながら書いている」と感じるかもしれないが、実態は違う。現在の大規模言語モデルは「次に来るトークンを予測する」という処理を、一語ずつ、左から右へと何十回も繰り返しているだけだ。構造的に直列処理であり、並列化できない。つまり、遅さは能力の問題ではなく、アーキテクチャの問題だ。
この前提に、Google DeepMindが正面から手を入れてきた。
2010年代後半、拡散モデルは画像生成の世界を塗り替えた。MidjourneyやStable Diffusionは「ノイズから絵を浮かび上がらせる」という手法で、従来のGANが苦手としていた多様性と品質を両立させた。しかし当時、その手法をテキストに応用しようとする試みは研究レベルにとどまり、実用には至っていなかった。言語は画像と違い、順序と文脈への依存が強いため、全体を同時に生成することの難しさがあったからだ。
その壁を越えようとしているのが「DiffusionGemma」だ。256トークンのブロックを一括で生成し、複数のパスを経て精緻化していく。専用GPUでの速度は、従来の自己回帰型モデルと比べて最大4倍。NVIDIA H100では毎秒1000トークン以上を達成している。
速度の数字だけ見れば「性能改善」の話に見える。だが中身は違う。生成の順序という、現行LLMが長年前提としてきた設計を捨て、別のアーキテクチャで同等以上の速度を出しにいくという試みだ。
誰が恩恵を受けるかは明確だ。ローカルで動かしたい研究者・開発者、リアルタイム処理が必要なエッジアプリケーション、そして反復的な編集やコード補完を高速に回したい実務ユーザー。一方で、高頻度リクエストを捌くクラウドサービングでは速度優位が薄れ、出力品質は標準のGemma 4より低いという制約もある。現時点では万能ではなく、用途が絞られる。
テキスト生成AIの歴史を振り返ると、アーキテクチャの転換点はいつも静かに訪れてきた。RNNからTransformerへの移行も、最初は研究成果として登場し、やがて業界の前提を書き換えた。DiffusionGemmaがその系譜に連なるかどうかは、まだわからない。ただ、Apache 2.0ライセンスでの公開という選択は、この手法を広く検証に晒すという意思表示でもある。
3行まとめ
- Google DeepMindが、256トークンを一括生成する拡散モデルベースのテキスト生成モデル「DiffusionGemma」をApache 2.0ライセンスで公開した。
- 専用GPUにおいて従来の自己回帰型モデル比で最大4倍の速度を実現し、NVIDIA H100では毎秒1000トークン以上を達成している。
- 26B MoEモデルながら推論時の有効パラメータは3.8Bに抑えられており、量子化時に高性能コンシューマーGPUのVRAM内で動作する設計となっている。
※以下は詳細
拡散モデルをテキストに持ち込む、その仕組み
画像生成AIにおける拡散モデルは、ランダムなノイズを出発点として、繰り返しのパスを経て徐々に輪郭を確定させていく手法だ。DiffusionGemmaはこのアプローチをテキストに適用している。
具体的には、モデルはまずランダムなプレースホルダートークンが並んだ状態からスタートし、複数回のパスを通じて正しいトークンを確定させながら、残りの文脈を精緻化していく。最終的にひとつの出力テキストへと収束させる。従来の自己回帰型モデルとは、生成の順序そのものが異なる。
なぜ速くなるのか
従来のLLMは一度に一トークンずつ逐次処理するため、ローカルで単一ユーザーが使用する環境では専用GPUの計算能力を十分に活用できない。次のトークン処理を待つ時間が常に発生し、ハードウェア性能に対してスループットが上がりにくい。
DiffusionGemmaは256トークンのブロックを同時に生成することでこの非効率を解消する。デコードのボトルネックをメモリ帯域幅からコンピュートへとシフトすることで、専用GPUにおいて最大4倍のトークン出力速度を実現する。ただし、この高速化の恩恵はローカルおよび低並列推論の環境に限定される。高QPS（高頻度リクエスト）のクラウドサービングではメリットが薄れ、提供コストが高くなる場合がある。
双方向アテンションが開く新しい用途
DiffusionGemmaが256トークンを並列生成できる理由のひとつが、双方向アテンションの活用だ。すべてのトークンが互いを参照できるため、線形な順序に依存しない処理が可能になる。
これにより、インライン編集・コード補完・アミノ酸配列・数学的グラフといった非線形ドメインでの処理に優位性があるとされている。複雑なマークダウン記法の正確な閉じ処理や、コードの生成とレンダリングをほぼリアルタイムで行うといった動作パターンも実現できる。Unslothはこのモデルをファインチューニングして数独を解かせることに成功しており、自己回帰型モデルが苦手とするこのタスクを双方向アテンションが処理できることを示している。
全体まとめ
Google DeepMindは、画像生成で実績を持つ拡散モデルをテキスト生成に本格適用した「DiffusionGemma」をApache 2.0ライセンスで公開した。26B MoEモデルながら推論時の有効パラメータは3.8Bに絞られており、量子化時に高性能コンシューマーGPUのVRAM内に収まる。専用GPUでは従来の自己回帰型モデル比で最大4倍のトークン生成速度を達成しており、インライン編集や高速反復処理を必要とするローカルワークフロー向けに設計されている。出力品質は標準のGemma 4より低く、高品質出力が求められる用途には標準Gemma 4の使用が推奨されている。