TensorFlow Liteという名前を覚えている開発者は多いだろう。その系譜を引き継ぐLiteRTが、生成AI時代向けの装いを新たにして本格展開されている。

名前を変えた理由

単なる改名なら記事にする価値は薄いが、今回の展開はモデルの多様化に合わせた再設計を伴っている。対象実行環境はAndroid、iOS、macOS、Windows、Linux、Webと幅広く、PyTorchやJAXで学習したモデルの変換支援も強化されている。TensorFlow専用ツールという狭い立ち位置から、フレームワークを問わないオンデバイス推論の共通基盤へと役割を広げた格好だ。

1.4倍という数字の意味

具体的な数字として、従来のTFLite GPU delegateと比べて平均1.4倍速いGPU性能が案内されており、新しいNPU加速対応も加わっている。1.4倍という数字だけを見ると地味に感じるかもしれないが、端末上で常時動くAI機能にとって、推論1回あたりの速度が4割改善することはバッテリー消費や体感レスポンスに直結する。クラウドAPIであれば計算資源を増強すれば済む話だが、オンデバイス環境では端末の物理的な制約の中で性能を絞り出す必要があり、この種の最適化の価値はクラウド側より相対的に大きい。

クラウド一辺倒ではなくなる理由

生成AIの話題は、性能の目立つ大規模モデルとサーバー側の展開に注目が集まりがちだ。しかし、推論のたびにクラウドへ通信するコストや、個人情報を外部に送ることへの抵抗感を考えると、端末内で完結できる処理を増やしたいという需要は着実に存在する。Gemmaのようなオープンモデルの展開とセットでLiteRTが強化されているのは、クラウド一辺倒ではないAI実装を現実的な選択肢にするための布石と見ることができる。対応環境やAPIの詳細、変換手順は多岐にわたるため、実装前にGoogle Developers Blogの記事(https://developers.googleblog.com/litert-the-universal-framework-for-on-device-ai/)と公式ドキュメントを併せて確認する必要がある。