MLPerf Mobile

MLPerf Mobile ist ein kostenloses Open-Source-Benchmarking-Tool zur Messung der Leistung mobiler Geräte wie Smartphones und Tablets bei verschiedenen Aufgaben der künstlichen Intelligenz (KI) und des maschinellen Lernens (ML). Zu den getesteten Workloads gehören Bildklassifizierung, Sprachverständnis, Hochskalierung der Superauflösung und Bildgenerierung basierend auf Texteingaben. Dieser Benchmark nutzt die Hardware-KI-Beschleunigung vieler aktueller Mobilgeräte, um die bestmögliche Leistung zu gewährleisten.

MLPerf Mobile wird von der MLPerf Mobile-Arbeitsgruppe bei MLCommons® entwickelt und gepflegt, einem gemeinnützigen KI/ML-Engineering-Konsortium mit über 125 Mitgliedern, darunter Industrieunternehmen und Wissenschaftler verschiedener Institutionen weltweit. MLCommons erstellt erstklassige Benchmarks für KI-Training und -Inferenz über verschiedene Systemgrößen hinweg – von großen Rechenzentrumsinstallationen bis hin zu winzigen eingebetteten Geräten.

Zu den Funktionen von MLPerf Mobile gehören:

– Benchmarktests in verschiedenen Bereichen basierend auf modernsten KI-Modellen, darunter:

– Bildklassifizierung

– Objekterkennung

– Bildsegmentierung

– Sprachverständnis

– Superauflösung

– Bildgenerierung aus Texteingaben

– Individuell abgestimmte KI-Beschleunigung auf den neuesten Mobilgeräten und SoCs.

– Umfassende Unterstützung für Android-Geräte durch TensorFlow Lite Delegate Fallback-Beschleunigung.

– Maßgeschneiderte Testmodi für alle – vom Gelegenheitsnutzer für eine schnelle Leistungsbewertung bis hin zu MLCommons-Mitgliedern, die offizielle Ergebnisse zur Veröffentlichung einreichen möchten.

– Anpassbare Abkühlverzögerungen zwischen den Tests, um thermische Drosselung zu vermeiden und präzise Ergebnisse zu gewährleisten.

– Optionale Cloud-basierte Ergebnisspeicherung, damit Sie Ihre bisherigen Ergebnisse zentral von mehreren Geräten aus speichern und abrufen können. (Diese Funktion ist kostenlos, erfordert aber eine Kontoregistrierung.)

MLPerf Mobile wird in der Regel mehrmals jährlich mit neuen Tests und Beschleunigungsunterstützung aktualisiert, da sich KI-Modelle und mobile Hardwarefunktionen weiterentwickeln. Bitte beachten Sie, dass einige Benchmarktests auf älteren Geräten möglicherweise nicht unterstützt werden und daher nicht als Testversion verfügbar angezeigt werden.

Quellcode und Dokumentation der MLPerf Mobile App finden Sie im MLCommons GitHub-Repository. Für Nutzersupport oder Fragen können Sie gerne Issues im GitHub-Repository der App erstellen:

github.com/mlcommons/mobile_app_open

Wenn Sie oder Ihre Organisation an einer Mitgliedschaft bei MLCommons interessiert sind, kontaktieren Sie bitte participation@mlcommons.org für weitere Informationen.