MLPerf Mobile

MLPerf Mobileは、スマートフォンやタブレットなどのモバイルデバイスの様々な人工知能（AI）および機械学習（ML）タスクにおけるパフォーマンスを測定するために設計された、無料のオープンソースベンチマークツールです。テスト対象となるワークロードには、画像分類、言語理解、超解像度アップスケーリング、テキストプロンプトに基づく画像生成などがあります。このベンチマークでは、多くの最新モバイルデバイスのハードウェアAIアクセラレーションを活用し、可能な限り最高のパフォーマンスを確保しています。

MLPerf Mobileは、世界中の様々な機関の業界企業や研究者を含む125社以上のメンバーで構成される非営利のAI/MLエンジニアリングコンソーシアム、MLCommons®のMLPerf Mobileワーキンググループによって構築および保守されています。MLCommonsは、大規模なデータセンターから小型の組み込みデバイスまで、様々なシステムスケールにおけるAIトレーニングと推論のための世界クラスのベンチマークを作成しています。

MLPerf Mobile の機能：

- 最先端の AI モデルに基づく、様々なドメインのベンチマークテスト（以下を含む）：

- 画像分類

- 物体検出

- 画像セグメンテーション

- 言語理解

- 超解像

- テキストプロンプトからの画像生成

- 最新のモバイルデバイスと SoC 向けにカスタムチューニングされた AI アクセラレーション

- TensorFlow Lite デリゲートフォールバックアクセラレーションによる Android デバイスへの幅広いサポート

- 簡単なパフォーマンス評価を求める一般ユーザーから、公式結果の公開を予定している MLCommons メンバーまで、あらゆるユーザーに対応したカスタマイズされたテストモード

- テスト間のクールダウン遅延をカスタマイズすることで、サーマルスロットリングを回避し、正確な結果を確保

- オプションのクラウドベースの結果ストレージにより、複数のデバイスから過去の結果を一か所に保存してアクセスできます。（この機能は無料ですが、アカウント登録が必要です。）

MLPerf Mobile は、AI モデルとモバイルハードウェア機能の進化に伴い、通常、年に複数回更新され、新しいテストとアクセラレーションのサポートが追加されます。一部のベンチマークテストは古いデバイスではサポートされていないため、テスト対象として表示されない場合がありますのでご注意ください。

MLPerf Mobileアプリのソースコードとドキュメントは、MLCommons GitHubリポジトリで公開されています。ユーザーサポートやご質問については、アプリのGitHubリポジトリでIssueをオープンしてください。

github.com/mlcommons/mobile_app_open

MLCommonsのメンバーになることにご興味をお持ちの方は、participation@mlcommons.orgまでお問い合わせください。詳細につきましてはお問い合わせください。