MLPerf Mobile

MLPerf Mobile is een gratis, open-source benchmarkingtool die is ontworpen om de prestaties van mobiele apparaten zoals smartphones en tablets te meten in diverse taken op het gebied van kunstmatige intelligentie (AI) en machine learning (ML). De geteste workloads omvatten beeldclassificatie, taalbegrip, superresolutie-upscaling en beeldgeneratie op basis van tekstprompts. Deze benchmark maakt gebruik van hardware-AI-acceleratie op veel van de nieuwste mobiele apparaten om waar mogelijk de beste prestaties te garanderen.

MLPerf Mobile wordt ontwikkeld en onderhouden door de MLPerf Mobile-werkgroep van MLCommons®, een non-profit AI/ML-engineeringconsortium met meer dan 125 leden, waaronder industriële bedrijven en academici van diverse instellingen wereldwijd. MLCommons produceert benchmarks van wereldklasse voor AI-training en -inferentie voor diverse systeemschalen, van grote datacenterinstallaties tot kleine embedded apparaten.

Kenmerken van MLPerf Mobile zijn onder andere:

- Benchmarktests in verschillende domeinen op basis van geavanceerde AI-modellen, waaronder:

- Beeldclassificatie

- Objectdetectie

- Beeldsegmentatie

- Taalbegrip

- Superresolutie

- Afbeeldingen genereren op basis van tekstprompts

- Op maat gemaakte AI-versnelling op de nieuwste mobiele apparaten en SoC's.

- Brede ondersteuning voor Android-apparaten via TensorFlow Lite-delegate fallback-versnelling.

- Testmodi op maat voor iedereen, van gewone gebruikers die een snelle prestatiebeoordeling willen tot MLCommons-leden die officiële resultaten willen indienen voor publicatie.

- Aanpasbare afkoelvertragingen tussen tests om thermische vertraging te voorkomen en nauwkeurige resultaten te garanderen.

- Optionele cloudgebaseerde resultatenopslag, zodat u uw eerdere resultaten vanaf meerdere apparaten op één plek kunt opslaan en openen. (Deze functie is gratis, maar vereist een accountregistratie.)

MLPerf Mobile wordt doorgaans meerdere keren per jaar bijgewerkt met nieuwe tests en versnellingsondersteuning naarmate AI-modellen en mobiele hardwaremogelijkheden zich ontwikkelen. Houd er rekening mee dat sommige benchmarktests mogelijk niet worden ondersteund en daarom mogelijk niet als beschikbaar voor testen worden weergegeven op oudere apparaten.

De broncode en documentatie voor de MLPerf mobiele app zijn beschikbaar in de Github-repository van MLCommons. Voor gebruikersondersteuning of vragen kunt u gerust een probleem melden in de Github-repository van de app:

github.com/mlcommons/mobile_app_open

Als u of uw organisatie geïnteresseerd bent om lid te worden van MLCommons, neem dan contact op met participation@mlcommons.org voor meer informatie.