MLPerf Mobile

MLPerf Mobile è uno strumento di benchmarking gratuito e open source progettato per misurare le prestazioni di dispositivi mobili come smartphone e tablet in diverse attività di intelligenza artificiale (IA) e apprendimento automatico (ML). I carichi di lavoro testati includono la classificazione delle immagini, la comprensione del linguaggio, l'upscaling a super risoluzione e la generazione di immagini basata su prompt di testo. Questo benchmark sfrutta l'accelerazione hardware dell'IA su molti dei dispositivi mobili più recenti per garantire le migliori prestazioni possibili.

MLPerf Mobile è sviluppato e gestito dal gruppo di lavoro MLPerf Mobile presso MLCommons®, un consorzio no-profit di ingegneria IA/ML composto da oltre 125 membri, tra cui aziende del settore e accademici provenienti da diverse istituzioni in tutto il mondo. MLCommons produce benchmark di livello mondiale per l'addestramento e l'inferenza dell'IA su diverse scale di sistema, dalle grandi installazioni di data center ai piccoli dispositivi embedded.

Le funzionalità di MLPerf Mobile includono:

- Test di benchmark in vari domini basati su modelli di intelligenza artificiale all'avanguardia, tra cui:

- Classificazione delle immagini

- Rilevamento di oggetti

- Segmentazione delle immagini

- Comprensione del linguaggio

- Super risoluzione

- Generazione di immagini da prompt di testo

- Accelerazione IA personalizzata sui più recenti dispositivi mobili e SoC.

- Ampio supporto per dispositivi Android tramite l'accelerazione di fallback delegata di TensorFlow Lite.

- Modalità di test personalizzate per tutti, dagli utenti occasionali che desiderano una rapida valutazione delle prestazioni ai membri di MLCommons che intendono inviare risultati ufficiali per la pubblicazione.

- Ritardi di raffreddamento personalizzabili tra i test per evitare il throttling termico e garantire risultati accurati.

- Archiviazione opzionale dei risultati basata su cloud, per salvare e accedere ai risultati precedenti da più dispositivi in ​​un unico posto. (Questa funzionalità è gratuita, ma richiede la registrazione di un account.)

MLPerf Mobile viene in genere aggiornato più volte all'anno con nuovi test e supporto per l'accelerazione, man mano che i modelli di intelligenza artificiale e le funzionalità dell'hardware mobile si evolvono. Si prega di notare che alcuni test di benchmark potrebbero non essere supportati e, pertanto, potrebbero non essere visualizzati come disponibili per i test sui dispositivi meno recenti.

Il codice sorgente e la documentazione dell'app MLPerf Mobile sono disponibili nel repository Github di MLCommons. Per assistenza o domande, non esitate a segnalare problemi nel repository Github dell'app:

github.com/mlcommons/mobile_app_open

Se voi o la vostra organizzazione siete interessati a diventare membri di MLCommons, contattate participation@mlcommons.org per ulteriori informazioni.