「ブラウザでAI推論を動かす」と聞くと、動くには動くが遅くて実用にならない、という印象を持つ人がまだ多いはずだ。LiteRT.jsが打ち出す最大3倍という数字は、その印象を更新しようとするものだ。

モバイル・デスクトップの実績をWebへ

LiteRT.jsは、モバイルやデスクトップですでに実績のあるLiteRT推論エンジンをJavaScript/TypeScriptから呼び出せる形でWebに拡張したものだ。PyTorch、JAX、TensorFlowで学習したモデルは共通の.tflite形式に変換して使え、KaggleやHugging Face上に公開されている既存モデルもそのまま利用できるという。ゼロからWeb向けにモデルを作り直す必要がない点は、移植コストを大きく左右する。

環境ごとに変わる高速化の中身

性能面では、CPU実行にXNNPACK、GPU実行にML Drift、NPU利用にはWebNN経由のアクセラレーションが使われ、環境に応じて自動的に切り替わる設計になっている。GPUやNPUを使える環境ではCPU実行比で5〜60倍の高速化が見込めるとされ、これは「動くけれど遅い」から「実用速度で動く」への転換を狙った数字だと読める。物体検出(YOLO系)や深度推定、ベクトル検索といった具体的な実装例がすでに公開されている点も、単なるベンチマーク上の性能ではなく実装が伴っていることを裏付けている。

サーバー費用という現実的な動機

Web上でAI機能を提供する場合、これまでは推論のたびにサーバー側のGPUを使うコストが積み上がりがちだった。ユーザー数が増えるほど比例して増えるこのコストは、無料枠の機能を提供したいWebサービスにとって悩みの種になりやすい。ブラウザ内で推論が完結すれば、この種のスケールに比例するコストをそもそも発生させずに済む。WebGPU/WebNNの普及とセットで最適化されたランタイムが揃ってきたことで、コストを気にせずAI機能を組み込む選択肢が現実味を帯びてきている。対応モデル形式やブラウザごとの実際の性能差は、Google Developers Blogの記事(https://developers.googleblog.com/litertjs-googles-high-performance-web-ai-inference/)とドキュメントで確認できる。